[論文レビュー] QuestEval: Summarization Asks for Fact-based Evaluation

Thomas Scialom, Paul-Alexis Dray+5 more|arXiv (Cornell University)|Mar 23, 2021

Topic Modeling参考文献 35被引用数 25

ひとこと要約

QuestEvalは参照なしの要約評価指標で、精度と再現QAベースの信号をQAモデルと質問重み付き生成器で統合し、金標本を必要とせず人間の判断との相関を高める。

ABSTRACT

Summarization evaluation remains an open research problem: current metrics such as ROUGE are known to be limited and to correlate poorly with human judgments. To alleviate this issue, recent work has proposed evaluation metrics which rely on question answering models to assess whether a summary contains all the relevant information in its source document. Though promising, the proposed approaches have so far failed to correlate better than ROUGE with human judgments. In this paper, we extend previous approaches and propose a unified framework, named QuestEval. In contrast to established metrics such as ROUGE or BERTScore, QuestEval does not require any ground-truth reference. Nonetheless, QuestEval substantially improves the correlation with human judgments over four evaluation dimensions (consistency, coherence, fluency, and relevance), as shown in the extensive experiments we report.

研究の動機と目的

• ROUGEのようなn-gram指標の要約評価における限界に対処する。
• 複数の次元で人間の判断とよりよく相関するグラウンドトゥルース不要な指標を開発する。
• 精度と再現のQAベース評価を統一し、顕著性を捉える学習済みの質問重み付けを導入する。
• CNN/Daily MailとXSUMデータセットで人間の判断との強い相関を示し、事実的一致を含む。
• 参照要約を必要としない説明可能な評価フレームワークを提供する。

提案手法

• QuestEvalを提案します。精度(QG/QA with source)と再現(重み付きQG/QA with source)信号を統合したQAベースの統一フレームワーク。
• 事前学習済みのT5ベースQAモデルを用いて、sourceとsummaryから生成された質問に答え、答えられないトークンepsilonを含める。
• 回答候補を条件にsourceまたはsummaryから質問を生成するT5ベースQGモデルを用い、QAモデルが正しく回答できた質問のみを保持する。
• 要約が回答を含むかどうかを学習する質問加重(W)を導入し、再現性の顕著性を優先する。
• 精度をsource上のQA予測回答と正解の回答のF1重なりとして計算し、再現は回答可能性を考慮した重み付き測度で計算する。
• 参照を必要とせずF1の調和平均でQuestEvalスコアを出力するように精度と再現を統一する。

実験結果

リサーチクエスチョン

• RQ1 参照なしQAベースの評価は、参照ベースの指標より要約の事実的一致性と情報の顕在性をより適切に捉えられるか？
• RQ2 精度と再現のQA信号を統合し、学習済みの質問重み付けを導入することで、整合性・連続性・流暢さ・関連性に対する人間の判断との整合性を高められるか？
• RQ3 QuestEvalは大規模要約データセット（CNN/Daily MailとXSUM）でROUGE,BLEU,METEOR,BERTScore,既存のQAベース指標と比較してどの程度か？
• RQ4 Gold参照が少ない場合にもQuestEvalは安定して機能するか、参照の数が変動しても耐性があるか？

主な発見

Metric	Consistency	Coherence	Fluency	Relevance	Average
ROUGE-1 (11 refs)	18.1	20.1	14.9	35.6	22.2
ROUGE-L (11 refs)	15.7	15.6	13.8	33.4	19.6
METEOR (11 refs)	3.3	2.9	7.1	-	3.2
BLEU (11 refs)	17.5	22.0	13.7	35.6	22.2
BERTScore-f (11 refs)	20.3	18.5	21.6	31.9	23.1
SummaQA (QA recall baseline)	8.3	8.0	-2.9	26.2	9.9
QAGS (QA precision baseline)	20.4	7.7	16.8	9.1	13.7
QuestEval W=uniform)	43.7	22.9	28.2	37.5	33.1
w/o QA neg sampl.	42.5	22.5	27.7	37.2	32.4
QuestEval W=learned)	42.0	24.0	28.4	39.2	33.5
Precision Only	46.5	14.0	30.9	22.2	28.4
Recall Only	30.5	22.6	19.2	37.6	27.5

• QuestEvalは一貫性、整合性、流暢さ、関連性の各指標で人間の判断との相関を、ベースライン指標と比べ顕著に改善する。
• 学習済みの質問重み付けを伴う統一された精度-再現アプローチはSummaQAとQAGSより平均相関が高い；学習された重み付けは関連性を改善する。
• QuestEvalは参照なしを維持し、1つの参照のみの場合でも強い性能を保ち、参照が少ない場合には参照ベース指標よりも優れている。
• QAトレーニングに negative samplingを組み込むと、回答不能な質問の検出と幻出の抑制で性能が向上する。
• このフレームワークは、どの質問が重要で答えられたかを示すことで説明可能性を提供し、要約の事実的一致性の欠如や不一致を強調する。