[論文レビュー] Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation

Yixin Liu, Alexander R. Fabbri+9 more|arXiv (Cornell University)|Dec 15, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、高相互評価者一致を達成するために原子的コンテンツユニット（ACU）を用いた大規模な人的評価データセットであるロバスト要約評価（RoSE）ベンチマークを紹介する。ACUベースの評価がより統計的に安定した結果をもたらすことを示し、GPTScoreなどのLLMベースの指標が入力に依存しない評価者好みに過適合することを明らかにした。また、多様な要約システムにおける自動指標評価の信頼性ある基盤を提供する。

ABSTRACT

Human evaluation is the foundation upon which the evaluation of both summarization systems and automatic metrics rests. However, existing human evaluation studies for summarization either exhibit a low inter-annotator agreement or have insufficient scale, and an in-depth analysis of human evaluation is lacking. Therefore, we address the shortcomings of existing summarization evaluation along the following axes: (1) We propose a modified summarization salience protocol, Atomic Content Units (ACUs), which is based on fine-grained semantic units and allows for a high inter-annotator agreement. (2) We curate the Robust Summarization Evaluation (RoSE) benchmark, a large human evaluation dataset consisting of 22,000 summary-level annotations over 28 top-performing systems on three datasets. (3) We conduct a comparative study of four human evaluation protocols, underscoring potential confounding factors in evaluation setups. (4) We evaluate 50 automatic metrics and their variants using the collected human annotations across evaluation protocols and demonstrate how our benchmark leads to more statistically stable and significant results. The metrics we benchmarked include recent methods based on large language models (LLMs), GPTScore and G-Eval. Furthermore, our findings have important implications for evaluating LLMs, as we show that LLMs adjusted by human feedback (e.g., GPT-3.5) may overfit unconstrained human evaluation, which is affected by the annotators' prior, input-agnostic preferences, calling for more robust, targeted evaluation methods.

研究の動機と目的

• 要約の人的評価研究において、低相互評価者一致と十分な規模の欠如という問題に対処すること。
• 意味的コンテンツユニットに基づく、より客観的で細分化された人的評価プロトコルの開発。
• 複数のデータセットにおける最先端要約システムを対象とした大規模かつロバストな人的評価ベンチマーク（RoSE）の構築。
• 異なる人的評価プロトコルが自動指標の性能と信頼性に与える影響を調査すること。
• 最近のLLMベースの指標（例：GPTScore、G-Eval）の、制御された高パワー的人的評価下での頑健性を評価すること。

提案手法

• 原子的コンテンツユニット（ACU）プロトコルを提案。要約を細分化された意味的ユニットに分解することで、アノテーションの一貫性と相互評価者一致を向上。
• CNN/DailyMail、XSum、SamSumデータセットにおける28の上位システムの要約22,000件に対して、RoSEベンチマークをキュレート。
• 自社アノテーションとクラウドソーシングを併用し、人的評価の信頼性とスケーラビリティを確保。
• 参照なし、参照あり、ACUベース、LitePyramidの4つの人的評価プロトコルを比較し、プロトコルの影響を評価。
• 大規模サンプルサイズを用いることで高い統計的パワーを実現し、指標評価における信頼区間を狭め、より有意義な比較を可能に。
• プロトコル間で50の自動指標（GPTScore、G-Evalを含むLLMベースの手法を含む）を評価し、人的判断との相関を測定。

実験結果

リサーチクエスチョン

• RQ1 細分化されたコンテンツユニットに基づく人的評価プロトコルは、従来の方法よりも高い相互評価者一致を達成できるか？
• RQ2 異なる人的評価プロトコル（例：参照なし対参照あり）は、要約システムや指標の評価性能にどのように影響を与えるか？
• RQ3 GPTScoreなどのLLMベースの指標は、アノテーターの事前知識や入力に依存しない好みにどの程度過適合するか？
• RQ4 高パワーで大規模な人的評価ベンチマークは、自動指標の評価がより統計的に信頼性があり安定したものになるか？
• RQ5 異なる評価プロトコルにおいて、従来の指標とLLMベースの自動指標は、頑健な人的評価とどの程度相関するか？

主な発見

• ACUプロトコルは高い相互評価者一致を達成し、より安定的かつ再現可能なシステム評価を可能にする。
• 参照なしの人的評価は、アノテーターの入力に依存しない好みと強く相関しており、特に長めの要約を好む傾向が顕著である。
• ゼロショットLLM（例：GPT-3）は参照なし評価ではより良い性能を示すが、参照あり評価ではファインチューニング済みモデルに劣る。
• GPTScore や G-Eval などのLLMベースの指標は、アノテーターの事前知識に著しく過適合しており、頑健な人的基準で評価すると性能が著しく劣る。
• RoSEベンチマークはより統計的に強力な評価を可能にし、信頼区間を狭め、指標比較研究における有意性を高める。
• BERTScore や ROUGE といった従来の指標は、ACUベースの人的評価と、新しいLLMベースの指標よりも強いシステムレベルの相関を示す。