[論文レビュー] Asking and Answering Questions to Evaluate the Factual Consistency of Summaries

Alex Wang, Kyunghyun Cho+1 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 40被引用数 32

ひとこと要約

QAGSは要約から質問を生成し、要約および元記事の双方から質問に答え、回答を比較することで要約の事実的一致性を評価する。標準的な指標 ROUGE や BLEU より人手評価との相関が高い。

ABSTRACT

Practical applications of abstractive summarization models are limited by frequent factual inconsistencies with respect to their input. Existing automatic evaluation metrics for summarization are largely insensitive to such errors. We propose an automatic evaluation protocol called QAGS (pronounced "kags") that is designed to identify factual inconsistencies in a generated summary. QAGS is based on the intuition that if we ask questions about a summary and its source, we will receive similar answers if the summary is factually consistent with the source. To evaluate QAGS, we collect human judgments of factual consistency on model-generated summaries for the CNN/DailyMail (Hermann et al., 2015) and XSUM (Narayan et al., 2018) summarization datasets. QAGS has substantially higher correlations with these judgments than other automatic evaluation metrics. Also, QAGS offers a natural form of interpretability: The answers and questions generated while computing QAGS indicate which tokens of a summary are inconsistent and why. We believe QAGS is a promising tool in automatically generating usable and factually consistent text.

研究の動機と目的

• 要約におけるn-gram重複を超えた事実的一致性の評価の必要性を動機付ける。
• 元のテキストとの事実的整合性を評価するために質問生成と質問回答を用いるフレームワークを提案する。
• 人間の事実性 judgmentsと相関し、QAプロンプトを通じて解釈性を提供する指標QAGSを開発する。
• 基盤モデルの品質、ドメインシフト、質問数に対するQAGSの頑健性を示す。
• アブレーションと誤り分析を提供し、将来の改善と他のモダリティへの潜在的拡張を導く。

提案手法

• 要約から質問を生成し、元記事と要約の両方を用いて質問に答え、対応する回答を比較するという三段階の評価フレームワークを定義する。
• QAGSのフレームワークを以下で具現化する: (a) 要約に条件付けられた質問生成, (b) 回答分布を生成する抽出型QAモデル, (c) 回答類似度指標としてのトークンレベルF1。
• 高確率の質問セットを生成するためのビームサーチを使用し、ヒューリスティックとQA整合性チェックで品質をフィルタリングする。
• 選択された質問に対して対応する回答の類似度を平均してQAGSスコアを算出する。
• CNN/DailyMailとXSUMで人間の判断との相関を報告し、 ROUGE、METEOR、BLEU、BERTScoreより優れていることを示す。
• QA/QGモデルの品質、ドメインシフト、質問数、代替的類似度指標に対する頑健性を検証するアブレーションを実施する。
• QAGSが矛盾を特定し、どのトークンが問題かをハイライトして解釈性を提供する方法を示す定性的例を示す。

実験結果

リサーチクエスチョン

• RQ1 QAGSはCNN/DailyMailとXSUM全体で要約の事実一致性における矛盾を確実に検出できるか？
• RQ2 ROUGE、BLEU、METEOR、BERTScoreなどの従来指標と比較して、QAGSは事実性の人間判断とどの程度相関するか？
• RQ3 QA/QGモデルの品質、ドメインシフト、使用する質問数の変化に対してQAGSは頑健か？
• RQ4 QAGSは要約のどの部分が不一致かを解釈可能な洞察を提供するか？
• RQ5 NLIベースの方法に対して、再ランキングやファクトチェック文脈でQAGSはどう機能するか？

主な発見

指標	CNN/DM	XSUM
ROUGE-1	28.74	13.22
ROUGE-2	17.72	8.95
ROUGE-L	24.09	8.86
METEOR	26.65	10.03
BLEU-1	29.68	11.76
BLEU-2	25.65	11.68
BLEU-3	23.96	8.41
BLEU-4	21.45	5.64
BERTScore	27.63	2.51
QAGS	54.53	17.49

• QAGSはCNN/DMとXSUMで人間の判断とのPearson相関をROUGE、METEOR、BLEU、BERTScoreより著しく高くする（例：CNN/DMでROUGE-2は54.53対17.72）。
• QA/QGモデル品質とドメインシフトに対して頑健で、弱い成分下でも相関が強い。
• 質問数を5から20に増やすと相関が顕著に向上し、約50問を超えると報酬は減速。
• QAGSはNLIベースのアプローチ（例：BERT NLI、ESIM、FactCC）を上回る句のランキングタスクで事実的一一致性（72.1%対64.1-70.0%）。
• QAGSは生成された質問と回答を通じて解釈可能な出力を提供し、要約のどのトークンが不一致かを示す。