[論文レビュー] Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries

Daniel Deutsch, Dan Roth|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 23被引用数 6

ひとこと要約

この論文は、ROUGE や BERTScore といった広く使われている要約評価指標が、要約間の情報被覆度を信頼性高く測定しておらず、むしろトピック類似度を主に捉えていることを示している。著者らは、整列された情報タプルに基づく新規で解釈可能な手法を提案し、要約間のコンテンツ被覆度を直接測定することで、従来の指標が見逃すモデルの挙動の洞察を明らかにした。

ABSTRACT

Reference-based metrics such as ROUGE or BERTScore evaluate the content quality of a summary by comparing the summary to a reference. Ideally, this comparison should measure the summary's information quality by calculating how much information the summaries have in common. In this work, we analyze the token alignments used by ROUGE and BERTScore to compare summaries and argue that their scores largely cannot be interpreted as measuring information overlap, but rather the extent to which they discuss the same topics. Further, we provide evidence that this result holds true for many other summarization evaluation metrics. The consequence of this result is that it means the summarization community has not yet found a reliable automatic metric that aligns with its research goal, to generate summaries with high-quality information. Then, we propose a simple and interpretable method of evaluating summaries which does directly measure information overlap and demonstrate how it can be used to gain insights into model behavior that could not be provided by other methods alone.

研究の動機と目的

• ROUGE や BERTScore といったリファレンスベースの要約評価指標が、実際に情報被覆度を測定しているのか、それともトピック類似度を反映しているのかを調査すること。
• 高品質な要約の生成という研究目的と評価指標の間の整合性欠如が、複数の指標にわたり体系的であるかどうかを評価すること。
• 要約間の情報被覆度を直接測定できる、新たな解釈可能な評価手法を開発・検証すること。
• SOTA モデルがベースラインよりも優れたコンテンツ品質を発揮しているという結論を、ROUGE や BERTScore のみでは得られなかったことの実証を行うこと。

提案手法

• ROUGE と BERTScore を、トークンレベルの整列に基づく類似度測定として統合的フレームワークで分析する。
• 人間によるアノテーション済みの情報カテゴリを用いて、どのトークン整列が同一の情報を表しているかを特定し、整列の質を評価する。
• 要約から抽出した (主語, 述語, 宮語) トリプルとして構造化された共通情報タプルの数を数えることで、新規の評価手法を導入する。
• TAC および CNN/DailyMail データセット上で、要約モデルの比較に新規手法を適用し、ROUGE や BERTScore との対比を行う。
• 情報被覆度のゴールスタンダードとしてピラミッド法を用い、新規手法の妥当性を検証するとともに、従来の指標と比較する。
• 指標と人間による応答性評価の相関を分析し、指標設計の実用的影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ROUGE や BERTScore は、要約間の実際の情報被覆度をどの程度測定しているのか、それともトピック類似度に偏っているのか。
• RQ2 ROUGE の変種や BERTScore などの他のリファレンスベースの評価指標も、情報被覆度を信頼性高く測定できていないのか。
• RQ3 整列された情報タプルに基づく新規の評価手法は、従来の指標では得られないモデル挙動の洞察を提供できるのか。
• RQ4 従来の指標が人間の応答性評価と相関を示す程度と、ゴールスタンダードの情報被覆度と相関を示す程度は、どのように異なるのか。
• RQ5 提案された情報タプルベースの手法は、SOTA モデルとベースライン要約モデルの間のコンテンツ品質の差を意味的に明らかにできるのか。

主な発見

• ドメインエキスパートによる判断によれば、ROUGE や BERTScore のトークン整列のわずか少数が同一の情報を表しており、情報被覆度との整合性が低いことが示された。
• 同一情報を表す整列は、トピック類似度を表す整列に比べて著しく少ないことが確認され、これらの指標が情報被覆度よりもトピック類似度を優先していることが裏付けられた。
• ROUGE や BERTScore を含む全 10 の評価指標が、ピラミッド法と同等の相関を示しており、情報被覆度測定の面で顕著な改善が見られなかった。
• 提案された情報タプルベースの手法により、SOTA モデルがベースラインモデルよりも優れたコンテンツ品質の要約を生成していることが明確に特定されたが、これは ROUGE や BERTScore のみでは検出できなかった。
• 名詞句の塊の再現率といったトピックベースの比較手法は、ROUGE と同程度に人間の応答性評価と相関を示しており、トピック類似度が評価の強力なベースラインであることが示された。
• 結果から、要約コミュニティは情報品質評価を目的とした信頼できる自動指標を欠いており、現在の指標は研究進展を誤導する可能性があると示唆された。