[論文レビュー] On (Commercial) Benefits of Automatic Text Summarization Systems in the News Domain: A Case of Media Monitoring and Media Response Analysis

Pashutan Modaresi, Philipp Gross+3 more|arXiv (Cornell University)|Jan 3, 2017

Topic Modeling参考文献 10被引用数 9

ひとこと要約

本研究では、メディアモニタリングおよびリスポンス分析ワークフローにおける単純なクエリベース抽出的テキスト要約システムの商業的利点を評価している。自動生成された要約を使用するメディアアナリストは、要約の品質に顕著な低下が見られないまま、処理時間の約58％を削減できることを示している。これは、たとえ基本的な要約ツールであっても、実世界のメディア分析環境において著しく効率を向上させられることを証明している。

ABSTRACT

In this work, we present the results of a systematic study to investigate the (commercial) benefits of automatic text summarization systems in a real world scenario. More specifically, we define a use case in the context of media monitoring and media response analysis and claim that even using a simple query-based extractive approach can dramatically save the processing time of the employees without significantly reducing the quality of their work.

研究の動機と目的

• 実世界のメディアモニタリングおよびリスポンス分析ワークフローにおける自動テキスト要約の商業的利点を調査すること。
• 自動要約を用いることで、メディアアナリストの作業の処理時間の短縮が可能かどうか、かつ要約の品質に悪影響を及ぼさないかを評価すること。
• 完全な記事と自動生成された要約の両方を提示された場合の、メディアアナリストが作成する要約の性能と品質を比較すること。
• 実際の産業関連の文脈において、要約システムがワークフローの効率と出力品質に与える影響を評価すること。

提案手法

• メディアアナリストを2つのグループに分けた制御実験を実施した：グループAは完全なニュース記事を受け取り、グループBは事前に定義されたクエリに基づいて自動生成された抽出的要約を受け取った。
• 要約は、各ニュース記事からクエリに関連する重要な文を抽出するクエリベース抽出的アプローチで作成された。
• 要約の品質は、完全性と読みやすさに基づき、メディアアナリストによる手動評価が行われ、統計的検定を用いて分析された。
• 処理時間は、箱ひげ図と分散分析（ANOVA）を用いて2グループ間で測定・比較され、有意差の有無を検証した。
• 要約品質のグループ間差の統計的有意性を評価するためにフィッシャーの正確確率検定が適用された。
• ROUGEと手動評価を用いて要約品質を評価し、時間の節約は効率向上の割合としてパcent表記で算出された。

実験結果

リサーチクエスチョン

• RQ1 自動生成された要約を使用することで、メディアアナリストが要約作成に費やす時間が顕著に短縮されるか？
• RQ2 完全な記事と自動要約の両方を用いた場合の、アナリストが作成する要約の品質に統計的に有意な差があるか？
• RQ3 自動要約に依存する場合、メディアアナリストは一貫して高品質な要約を生成できるのか、それとも品質に顕著なばらつきが生じるか？
• RQ4 単純なクエリベース抽出的要約システムは、実世界のメディアモニタリングワークフローにおいて測定可能な商業的利点を提供できるか？

主な発見

• 自動生成された要約を使用したアナリスト（グループB）は、完全な記事を使用したアナリスト（グループA）と比較して、平均で58％の処理時間短縮を達成した。
• 分散分析（ANOVA）の結果、グループAとグループBの処理時間に統計的に有意な差が認められ、p値は2×10^−16未満であった。
• フィッシャーの正確確率検定により、グループAとグループBの要約品質に有意差は認められず、p値は0.4225であった。これは、自動要約が品質を低下させないことを示している。
• グループBのアナリストが作成した要約の品質は、個人差に著しくばらつきを示しており、自動要約支援があってもユーザー依存要因が依然として出力に影響を及ぼしていることが示された。
• 完全な記事を用いた場合にも要約品質に顕著な差は認められず、個々のアナリスト間で一貫したベースラインパフォーマンスが維持されていた。
• 結果として、単純なクエリベース抽出的要約システムでさえ、要約の品質を損なうことなく、顕著な時間の節約を実現できることを確認した。