[論文レビュー] Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary

Daniel Deutsch, Tania Bedrax-Weiss+1 more|arXiv (Cornell University)|Oct 1, 2020

Topic Modeling被引用数 11

ひとこと要約

本稿では、候補要約と参照要約間の情報被覆度を質問・回答によって測定することで、要約の内容品質を評価する新しい自動指標QAEvalを提案する。参照要約から質問を生成し、候補要約がその質問に正しく答えられるかを評価することで、事実の内容一致を直接測定する。このアプローチにより、人間の評価と高い相関を示し、従来の指標を上回り、黄金基準とされるピラミッド法に近づく。

ABSTRACT

A desirable property of a reference-based evaluation metric that measures the content quality of a summary is that it should estimate how much information that summary has in common with a reference. Traditional text overlap based metrics such as ROUGE fail to achieve this because they are limited to matching tokens, either lexically or via embeddings. In this work, we propose a metric to evaluate the content quality of a summary using question-answering (QA). QA-based methods directly measure a summary's information overlap with a reference, making them fundamentally different than text overlap metrics. We demonstrate the experimental benefits of QA-based metrics through an analysis of our proposed metric, QAEval. QAEval out-performs current state-of-the-art metrics on most evaluations using benchmark datasets, while being competitive on others due to limitations of state-of-the-art models. Through a careful analysis of each component of QAEval, we identify its performance bottlenecks and estimate that its potential upper-bound performance surpasses all other automatic metrics, approaching that of the gold-standard Pyramid Method.

研究の動機と目的

• ROUGE や BERTScore などのテキスト被覆度ベースの指標が、語彙的・埋め込み類似度に依存するため、真の情報被覆度を捉えられていないという限界を是正すること。
• 要約が参照文書と共有する事実的情報の量を直接測定できる、より正確な自動評価指標を開発すること。
• 質問・回答フレームワークが、従来の ROUGE スタイルの指標に代わる情報中心の堅牢な代替手段として機能できるかを検証すること。
• QA パイプラインにおける性能ボトルネックを同定し、このような指標の上限性能を推定すること。

提案手法

• 事前に訓練された質問生成モデルを用いて、参照要約から質問・回答ペアを生成する。
• 質問・回答モデルを用いて、候補要約に基づいて質問の答えを予測する。
• 候補要約が正しく答えられた質問の割合を、内容品質スコアとして算出する。
• 予測された答えをゴールの答えと照合することで、評価における事実の正確性を保証する。
• 複数の参照要約にわたってスコアを集約し、システムレベルのパフォーマンスを評価する。
• 人間水準のQAおよび答えの検証能力を仮定することで、QAEvalの上限性能を推定する。

実験結果

リサーチクエスチョン

• RQ1 質問・回答フレームワークは、ROUGE や BERTScore などの従来のテキスト被覆度指標よりも、情報被覆度をより正確に測定できるか？
• RQ2 ベンチマーク要約データセット上で、QAEval は最先端の自動指標および黄金基準とされるピラミッド法と比較してどのように性能を示すか？
• RQ3 QAEval パイプラインのどのコンponent が主な性能ボトルネックとなっており、それが人間の判断との相関にどのように影響するか？
• RQ4 QA および答えの検証コンponent が完璧であった場合、QAEval の上限性能はどの程度になるか？
• RQ5 QAEval は多様な要約生成システムや要約タイプに一般化して適応できるか？

主な発見

• ベンチマークデータセット上で要約システムを評価する際、QAEval は人間の判断と最先端の相関を達成し、ROUGE や BERTScore、MoverScore を上回る。
• 個々の要約の順位付けにおいて、QAEval は参照要約に非常に近い要約については他の指標と同等またはそれ以上に性能を発揮するが、他の要約ではモデルの制限によりわずかに劣る。
• QA モデルと答えの検証が主な性能ボトルネックであり、これが全体の正確性を制限するノイズをもたらしている。
• 人間水準のQAおよび答えの検証能力を仮定した場合、QAEval の上限性能は他のすべての自動指標を上回り、黄金基準とされるピラミッド法に近づく。
• 結果から、QAに基づく指標は今後の自動要約評価において極めて有望な方向性であることが示された。