[論文レビュー] Question Answering as an Automatic Evaluation Metric for News Article Summarization

Matan Eyal, Tal Baumel+1 more|arXiv (Cornell University)|Jun 2, 2019

Topic Modeling参考文献 32被引用数 4

ひとこと要約

この論文は、事前に学習された質疑応答モデルを用いて、要領の良いエンティティに関する質問に要約が正しく答えられるかどうかを測定することで、ニュース記事要約の外的評価指標であるAPESを導入する。この手法はROUGEよりも手動評価指標と高い相関を示し、APESを最適化した抽象的要約モデルはAPES（46.1 vs. 39.8）およびROUGEスコアの両方を向上させる。これは、APESがROUGE単体よりも効果的な要約生成を促進できることを示している。

ABSTRACT

Recent work in the field of automatic summarization and headline generation focuses on maximizing ROUGE scores for various news datasets. We present an alternative, extrinsic, evaluation metric for this task, Answering Performance for Evaluation of Summaries. APES utilizes recent progress in the field of reading-comprehension to quantify the ability of a summary to answer a set of manually created questions regarding central entities in the source article. We first analyze the strength of this metric by comparing it to known manual evaluation metrics. We then present an end-to-end neural abstractive model that maximizes APES, while increasing ROUGE scores to competitive results.

研究の動機と目的

• ROUGEが単一要約データセットにおいて抱える限界を解消するため、より堅牢な外的評価指標を提案すること。
• 要領の良いエンティティに関する質疑応答のパフォーマンスが、要約品質に関する人間の判断と相関するかどうかを評価すること。
• APESを直接最適化する抽象的要約モデルを開発することにより、APESおよびROUGEスコアの両方を向上させること。
• ROUGEが単にエンティティの存在を検出するだけであるのに対し、APESが一貫性および意味的正確性を的確に捉えているかどうかを検証すること。
• 強化学習や複雑な報酬設計に依存せずに、APESが効果的な要約学習を促進できることを実証すること。

提案手法

• APESは、要領の良いエンティティに関する手動で作成された質問のうち、要約が正しく答えられる割合を測定することで要約を評価する。
• 質問は基準要約から導出され、中心的な固有表現（Named Entities）に焦点を当てており、要領の良い内容と整合性を持つようにする。
• 事前に学習された読解モデルを用いて、要約に基づいて質問に答える。パフォーマンスは正しく答えられた質問の割合として測定される。
• 抽象的シーケンス・トゥ・シーケンスモデルは、元文書内の要領の良いエンティティに強く注目するように最適化され、APESを最大化するように訓練される。
• モデルは注目メカニズムを用いて要領の良いエンティティを優先するが、ゴールラベルに依存せず、学習されたモジュールによってエンティティの要領の良さを予測する。
• この手法は、ROUGEなどの自動指標と手動評価（Pyramid、Responsiveness）を用いて、CNN/Daily Mailデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 APESは、Pyramid や Responsiveness といった手動評価指標と、ROUGE よりも強い相関を示すか？
• RQ2 APESを最適化した抽象的要約モデルは、APES自体を向上させると同時に、ROUGEスコアについても競争力を持つことができるか？
• RQ3 APESは一貫性や意味的構造に敏感であるか、それとも単に固有表現の存在を検出するだけか？
• RQ4 モデルが予測する要領の良さスコアが、ゴールエンティティ位置を使用する場合と比較して、注目を効果的に誘導できるか？
• RQ5 APESで使用されるQAシステムは、十分なパフォーマンスを発揮しており、評価に信頼性と実用性を持つと見なせるか？

主な発見

• APESは手動評価指標、特にPyramidおよびResponsivenessと強い相関を示し、ROUGEを上回る。
• APESを最適化したモデルはテストセットでAPESスコア46.1を達成し、ベースラインモデルの39.8を顕著に上回る。
• モデルはROUGEスコアについてもROUGE-1、ROUGE-2、ROUGE-Lの各指標で約1 F1ポイント向上させ、APES最適化が内因的および外因的両方のパフォーマンスを向上させることを示している。
• QAシステムは高いパフォーマンス（CNNで72.4%、Daily Mailで75.8%）を発揮しており、APESが評価に信頼性と実用性を持つことを確認している。
• シャッフルされたゴール要約ではAPESスコアが53.8%にとどまるため、APESは一貫性の欠如や意味の損なわれた要約を懲罰しており、ROUGEがこのような問題を検出できないのとは対照的である。
• ゴールエンティティ位置をオラクル入力として使用した場合もわずかに向上（46.3 vs. 46.1）にとどまるため、モデルが予測する要領の良さスコアが高精度を達成する上で効果的かつ十分であることが示された。