[論文レビュー] How to Find Strong Summary Coherence Measures? A Toolbox and a Comparative Study for Summary Coherence Measure Evaluation

Julius Steen, Katja Markert|arXiv (Cornell University)|Sep 14, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、要約の整合性評価指標（CMs）のための包括的なツールボックスと大規模な評価フレームワークを導入し、システムレベルの交絡要因とモデルバイアスを検出するための内部システム相関とバイアス行列を提案する。大規模言語モデル（LLM）をシャッフルタスクで微調整した場合、優れた性能を示すが、ほとんどの既存のCMsはより厳密な評価条件下で失敗し、特に要約長やコンテンツの多様性にわたる一般化において顕著である。これは、ペairワイズ順序付けよりも分類ベースの学習がより重要であることを示唆している。

ABSTRACT

Automatically evaluating the coherence of summaries is of great significance both to enable cost-efficient summarizer evaluation and as a tool for improving coherence by selecting high-scoring candidate summaries. While many different approaches have been suggested to model summary coherence, they are often evaluated using disparate datasets and metrics. This makes it difficult to understand their relative performance and identify ways forward towards better summary coherence modelling. In this work, we conduct a large-scale investigation of various methods for summary coherence modelling on an even playing field. Additionally, we introduce two novel analysis measures, intra-system correlation and bias matrices, that help identify biases in coherence measures and provide robustness against system-level confounders. While none of the currently available automatic coherence measures are able to assign reliable coherence scores to system summaries across all evaluation metrics, large-scale language models fine-tuned on self-supervised tasks show promising results, as long as fine-tuning takes into account that they need to generalize across different summary lengths.

研究の動機と目的

• 要約の整合性評価指標（CMs）の標準化された評価の欠如に取り組む。これらはしばしば異なるデータセットや指標で評価されるため、性能の比較が信頼性を欠く。
• 要約生成者間の性能格差を利用しているが、真の整合性モデリングを反映していないシステムレベルの交絡要因を同定・軽減する。
• 内部分析相関とバイアス行列といった新たな評価指標を導入し、耐性を高め、モデルバイアスを検出する。
• 一貫性・厳密な条件下で、最近のSummEvalデータセットを用いて幅広いCMsの評価を実施し、多様な要約長やコンテンツにおける一般化性と性能を評価する。
• 現在のアプローチの限界を特定し、特に自己教師あり学習とモデルアーキテクチャにおいて改善を促す提言を通じて、今後の研究を導く。

提案手法

• 同じ要約生成者によって生成された要約内の整合性スコアの一貫性を測る新しい評価指標として、内部分析相関を提案。これにより、システムレベルの交絡要因による脆弱性が低減される。
• 特定の要約生成者またはモデルタイプに対して系統的なバイアスを可視化・検出する診断ツールとして、バイアス行列を導入。
• 14種類のCMsを複数の評価環境で比較する大規模な分析を実施。評価環境には、システムレベル相関、ペアワイズ順序付け、内部分析相関が含まれる。
• 二値分類目的（CCL）を用いて、文のシャッフルタスクで大規模言語モデル（LLMs）を微調整。標準的なペアワイズ順序付け損失とは対照的である。
• 変更を加えたシャッフルテストを用いて、長さやコンテンツが異なるドキュメントに対するCMsの評価を実施。要約生成における現実世界の多様性を模擬する。
• Brown整合性ツールキットを用いて、データセット間でのエンティティの重複を定量化。エンティティベースの整合性モデリングの実現可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の要約の整合性評価指標は、多様な要約生成者出力の間で信頼性を持って整合性を評価できるのか。それとも、システムレベルの交絡要因を利用しているのか。
• RQ2 システムレベル相関、ペアワイズ順序付け、内部分析相関といった異なる評価指標は、CMsの真の整合性モデリング能力をどの程度効果的に明らかにできるか。
• RQ3 どの程度の整合性評価指標が特定の要約生成者にバイアスを示しており、バイアス行列はそのようなバイアスを効果的に検出できるか。
• RQ4 シャッフルタスクで良好な性能を示すCMsが、要約長が異なる場合に、なぜSummEvalのような現実世界の要約データセットでは失敗するのか。
• RQ5 グローバル分類目的（例：CCL）で訓練された整合性モデルは、ペアワイズ順序付けと比較して、異なる要約長やコンテンツにわたる一般化性を向上させるか。

主な発見

• 評価された整合性評価指標のいずれに対しても、すべての評価指標で信頼性のある性能を達成できず、特に内部分析相関において顕著な一般化の限界が示された。
• トップパフォーマンスを示すCMsですら、バイアス行列によって特定の要約生成者に対して強いバイアスを示すことが判明し、その信頼性と公平性に懸念が生じる。
• エンティティベースの整合性モデル（例：EEG, EGR, NEG）は、CNN/DMおよびSummEvalの要約における最小限の語彙的エンティティの重複のため、著しく低い性能を示し、適用可能性が制限される。
• ペアワイズ順序付け損失で訓練されたモデル（例：UNF, GRA）は、要約長の異なる要約への一般化に失敗するが、分類目的で訓練されたCCLモデルは、長さの変化にかかわらず安定した性能を維持する。
• シャッフルタスクで微調整された大規模言語モデル、特に二値分類器として訓練されたものにおいて、最も有望な結果が得られた。これは、今後の整合性モデリングのための実用的で有望な道筋を示唆している。
• 本研究は、システムレベル相関が整合性モデルの評価に不十分であることを示した。なぜなら、交絡要因に脆弱であり、真の整合性理解を反映していないからである。