[論文レビュー] A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods

Daniel Deutsch, Rotem Dror+1 more|arXiv (Cornell University)|Mar 31, 2021

Topic Modeling参考文献 31被引用数 5

ひとこと要約

本稿では、要約評価指標と人間の判断との相関に関する信頼区間の算出および仮説検定を行うために、リサンプリング手法（ブートストラップ法とパーミュテーション法）を提案する。シミュレーションと実世界の分析を通じて、指標の信頼性に高い不確実性が存在することを明らかにし、QAEvalとBERTScoreがROUGEよりも多数の設定で顕著に優れていることを示し、テキスト生成における指標評価の統計的・厳密なフレームワークを提供する。

ABSTRACT

The quality of a summarization evaluation metric is quantified by calculating the correlation between its scores and human annotations across a large number of summaries. Currently, it is unclear how precise these correlation estimates are, nor whether differences between two metrics' correlations reflect a true difference or if it is due to mere chance. In this work, we address these two problems by proposing methods for calculating confidence intervals and running hypothesis tests for correlations using two resampling methods, bootstrapping and permutation. After evaluating which of the proposed methods is most appropriate for summarization through two simulation experiments, we analyze the results of applying these methods to several different automatic evaluation metrics across three sets of human annotations. We find that the confidence intervals are rather wide, demonstrating high uncertainty in the reliability of automatic metrics. Further, although many metrics fail to show statistical improvements over ROUGE, two recent works, QAEval and BERTScore, do in some evaluation settings.

研究の動機と目的

• 要約評価指標と人間の判断との相関に関する信頼区間や仮説検定の不足を解消すること。
• 要約の文脈において、ブートストラップ法とパーミュテーション法のどちらのリサンプリング手法が保留データに最もよく一般化するかを特定すること。
• 特にROUGEとの相関差の統計的有意性を評価すること。
• 自動要約指標を比較するための標準的で非パラメトリックな統計的フレームワークを提供すること。
• 3つの人間アノテート済みデータセットからの実証的データを用いて、現在の指標の信頼性と識別力の高さを評価すること。

提案手法

• システムと入力の両方にばらつきがあると仮定し、一般化を向上させるために、システムと入力を両方リサンプリングする3つのブートストラップ手法を提案する。
• 差がないという帰無仮説の下で、指標スコアと人間スコアの行列をリサンプリングする3つのパーミュテーションベースの手法を導入する。
• ブートストラップを用いて、自動指標と人間の判断との間の相関係数の信頼区間を推定する。
• パーミュテーション検定を用いて、指標間の相関値の差の統計的有意性を比較する。
• 2つのシミュレーション実験（CIの一般化に関する実験と統計的パワーの比較に関する実験）を通じて、手法選択の妥当性を検証する。
• 選択された手法を3つの要約データセットからの実世界データに適用し、相関係数、信頼区間、p値を推定する。

実験結果

リサーチクエスチョン

• RQ1 要約評価において、保留データに最もよく一般化するリサンプリング手法は、ブートストラップ法かパーミュテーション法のどちらか？
• RQ2 パーミュテーションベースの仮説検定は、ブートストラップ法やウィリアムズ検定に比べ、要約における指標相関の比較において高い統計的パワーを示すか？
• RQ3 異なるデータセットにおいて、自動要約指標と人間の判断との相関推定値は、どの程度不確実性を伴っているか？
• RQ4 ROUGE、QAEval、BERTScoreなど、どの自動評価指標が人間の判断との相関においてROUGEを顕著に上回る有意な改善を達成しているか？
• RQ5 入力ドキュメントの性質やアノテーションの実施方法の違いが、指標のパフォーマンスや相関の安定性にどの程度影響を及ぼすか？

主な発見

• 要約指標と人間の判断との相関に対する信頼区間は一貫して広く、現在の指標の信頼性に高い不確実性が存在することが示された。
• システムと入力の両方にばらつきがあると仮定するブートストラップ法が、保留データに最もよく一般化され、固定システムや固定入力のバージョンを上回った。
• パーミュテーションベースの仮説検定は、ブートストラップ法やウィリアムズ検定に比べ、要約の文脈で通常低い相関値が得られる中で高い統計的パワーを示した。
• QAEvalとBERTScoreは、多数の評価設定においてROUGEを顕著に上回る統計的有意な改善を達成したが、他の指標は一貫してROUGEを上回らなかった。
• 報告された指標パフォーマンスの差の多くは、真の優位性ではなくランダムなばらつきによるものである可能性が示唆され、厳密な統計的検定の必要性が強調された。
• 提案されたリサンプリング手法は一般化可能であり、類似の評価課題を有する機械翻訳など、他のテキスト生成タスクにも適用可能である。