[論文レビュー] Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors

Liyan Tang, Tanya Goyal+7 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、要約モデル（FtSota、EXformer、Old）ごとに層別化された、9つの既存データセットからの事実エラーのアノテーションを集約した統合ベンチマーク、AggreFactを紹介する。その結果、最先端の事実性メトリクスは、現代のモデル（FtSota）の要約に対して、古くなったモデルよりも著しく性能を発揮しないことが判明し、従来の性能評価の妥当性に疑問を呈するとともに、信頼できるメトリクス評価のためには、現在のモデルとエラー種別を考慮した評価が不可欠であると提言する。

ABSTRACT

The propensity of abstractive summarization models to make factual errors has been studied extensively, including design of metrics to detect factual errors and annotation of errors in current systems' outputs. However, the ever-evolving nature of summarization systems, metrics, and annotated benchmarks makes factuality evaluation a moving target, and drawing clear comparisons among metrics has become increasingly difficult. In this work, we aggregate factuality error annotations from nine existing datasets and stratify them according to the underlying summarization model. We compare performance of state-of-the-art factuality metrics, including recent ChatGPT-based metrics, on this stratified benchmark and show that their performance varies significantly across different types of summarization models. Critically, our analysis shows that much of the recent improvement in the factuality detection space has been on summaries from older (pre-Transformer) models instead of more relevant recent summarization models. We further perform a finer-grained analysis per error-type and find similar performance variance across error types for different factuality metrics. Our results show that no one metric is superior in all settings or for all error types, and we provide recommendations for best practices given these insights.

研究の動機と目的

• 要約生成における事実エラー検出のための一貫性があり最新のベンチマークが不足している問題に対処すること。
• 過去の事実性メトリクスの評価が、古くなったモデルやデータセットに依存しているため、誤解を招く可能性がある理由を特定すること。
• 要約モデルとエラー種別の両方に基づいて層別化されたベンチマークを提供し、より細分化された分析を可能にすること。
• 異なる要約モデルとエラー種別におけるメトリクスの性能を評価することで、事実性メトリクスの選定と開発におけるベストプラクティスを導くこと。
• 特に大規模言語モデル（LLM）が生成する要約を含む、進化を続ける新しい要約モデルに対応できる、継続的かつ分野を拡張したベンチマークの導入を提唱すること。

提案手法

• 9つの既存データセットからの事実エラーのアノテーションを統合し、要約モデル（FtSota、EXformer、Old）ごとに一貫した層別化を施した単一のベンチマーク、AggreFactを構築した。
• 下位の要約モデルの開発時期に応じて層別化することで、モデル時代ごとの性能差を明確に分離した。
• 複数のデータセットからの詳細なエラーアノテーションを統一された分類体系に統合し、エラー種別のデータセット間比較を可能にした。
• 9つの最先端の事実性メトリクス（最近のLLMベースのものも含む）を、層別化されたベンチマーク上で評価し、モデルやエラー種別にわたる性能のばらつきを分析した。
• 内在的・外在的、エンティティ、イベント、名詞句レベルの誤解釈（ホールーシュレーション）を含む、エラー種別レベルの詳細な分析を実施し、メトリクスの能力を比較した。
• 実証的発見に基づき、メトリクス選定とベンチマーク評価におけるベストプラクティスの提言を提供した。

実験結果

リサーチクエスチョン

• RQ1 事実性メトリクスは、現代の（FtSota）と古くなった（Old）要約モデルの間で一貫して性能を発揮するのか？
• RQ2 最近の事実性メトリクスの改善の多くは、最新の最先端システムではなく、古くなったモデルのエラーを検出する能力に起因しているとどの程度言えるのか？
• RQ3 CNN/DM や XSum のようなデータセットにおいて、異なる事実性メトリクスは、特定のエラー種別（例：内在的 vs. 外在的ホールーシュレーション）をどの程度効果的に同定できるのか？
• RQ4 1つの事実性メトリクスが、多様な要約モデルとデータセットにおいて、すべての種類の事実エラーを信頼性高く検出できるのか？
• RQ5 モデルやエラー種別にわたる性能のばらつきを踏まえて、事実性メトリクスの評価と選定におけるベストプラクティスは何か？

主な発見

• 事実性メトリクスは、最先端（FtSota）の要約モデルが出力する要約に対して、古くなったモデルの要約よりも著しく低い性能を示しており、最近のメトリクス向上が現行システムにはほとんど関係していない可能性を示唆している。
• 大多数の報告されたメトリクスの改善は、ベンチマークの『Old』および『EXformer』サブセットで達成されており、より関連性の高いFtSotaモデルでは達成されていない。これは、従来のベンチマーク手法の妥当性に疑問を呈する。
• 1つの事実性メトリクスが、すべてのモデルタイプやエラー種別で他を上回るとは限らず、文脈に応じたメトリクス選定の重要性を強調している。
• SOTAを謳うメトリクスですら、CNN/DM や XSum のようなデータセットにおいて、特定のエラー種別を均等に同定できていないことが判明し、カバー範囲の限界が依然として存在することが明らかになった。
• エラー種別の分布は、データセットや時間経過に応じて顕著に変化しており、同じ要約モデルに対しても変動が見られるため、データセット間比較が複雑化している。
• 大規模言語モデル（LLM）が生成する要約を含み、新しいモデルの能力を反映して定期的に拡張される、更新された「生きている」ベンチマークの導入が急務である。