[論文レビュー] TRUE: Re-evaluating Factual Consistency Evaluation

Or Honovich, Roee Aharoni+8 more|arXiv (Cornell University)|Apr 11, 2022

Topic Modeling被引用数 13

ひとこと要約

本稿では、要約、対話、並び替え、事実検証を含む11の多様なデータセットにわたるテキスト生成における事実的一致性を評価するための標準化ベンチマークであるTRUEを紹介する。本稿では、AUC-ROCを用いた例レベルのメタ評価プロトコルを統一的に提案し、メトリクスを評価した結果、大規模なNLIおよび質問生成・質問応答（QG-QA）手法が強く、補完的な性能を示し、一貫性評価のための新たなベースラインを確立した。

ABSTRACT

Grounded text generation systems often generate text that contains factual inconsistencies, hindering their real-world applicability. Automatic factual consistency evaluation may help alleviate this limitation by accelerating evaluation cycles, filtering inconsistent outputs and augmenting training data. While attracting increasing attention, such evaluation metrics are usually developed and evaluated in silo for a single task or dataset, slowing their adoption. Moreover, previous meta-evaluation protocols focused on system-level correlations with human annotations, which leave the example-level accuracy of such metrics unclear. In this work, we introduce TRUE: a comprehensive survey and assessment of factual consistency metrics on a standardized collection of existing texts from diverse tasks, manually annotated for factual consistency. Our standardization enables an example-level meta-evaluation protocol that is more actionable and interpretable than previously reported correlations, yielding clearer quality measures. Across diverse state-of-the-art metrics and 11 datasets we find that large-scale NLI and question generation-and-answering-based approaches achieve strong and complementary results. We recommend those methods as a starting point for model and metric developers, and hope TRUE will foster progress towards even better evaluation methods.

研究の動機と目的

• テキスト生成における事実的一致性メトリクスのための標準化され、タスクを越えた評価の欠如に取り組むこと。
• 多様なNLPタスクにわたる事実的一致性について、一貫した二値ラベルを備えた統一されたベンチマークを構築すること。
• システムレベルの相関関係よりも実用的で解釈可能な、例レベルの適合率と再現率に焦点を当てた、より実行可能なメタ評価プロトコルを提案すること。
• 提案されたプロトコルを用いて、11のデータセットで12の最先端の事実的一致性メトリクスを評価および比較すること。
• 将来のモデルおよびメトリクス開発のためのベースラインとして、最も効果的なメトリクスを同定し、推奨すること。

提案手法

• 11の既存データセットを統一フォーマットに標準化し、ターゲットテキストと根拠となるソースのペアを提供し、それぞれを二値ラベルで事実的一致性についてアノテートした。
• 不一致例の検出を目的とした、受信者操作特性曲線下積分（ROC AUC）に基づくメタ評価プロトコルを提案し、例レベルでの性能評価を可能にした。
• 自然言語推論（NLI）、質問生成・質問応答（QG-QA）、微調整された言語モデルに基づく12の事実的一致性メトリクスを評価した。
• 上位3つのメトリクスの予測を平均化することでアンサンブル分析を実施し、耐性を高め、障害モードを同定した。
• 100件の誤分類例について手動でのエラー分析を実施し、特に境界スコアや対話における個人的声明のような分野固有の課題に関する障害パターンを理解した。
• 再現可能性および提案されたベンチマークとプロトコルの採用を促進するため、公開のコードベースとアノテーションスキームを提供した。

実験結果

リサーチクエスチョン

• RQ1 標準化され、例レベルのプロトコルに基づく評価がなされた場合、既存の事実的一致性評価メトリクスは、多様なNLPタスクおよびデータセットでどの程度の性能を示すか？
• RQ2 不一致テキストを検出する際に、どのメトリクスが最高のROC AUCを達成し、適合率と再現率の観点からどのように比較されるか？
• RQ3 NLIベースおよびQG-QAベースのメトリクスは、事実的一致性の欠如を同定する上でどの程度補完的か？
• RQ4 現在のメトリクスの主な障害モードは何か、また、対話における個人的声明のような入力の種別に応じてどのように変化するか？
• RQ5 アンサンブル手法は、上位のメトリクスからの予測を組み合わせることで、検出性能を向上させることができるか？

主な発見

• 大規模なNLIおよびQG-QAベースのメトリクスは、11のすべてのデータセットで最も強く、補完的な性能を示し、平均してAUC-ROCスコアが0.85以上で一定に保たれた。
• 上位3つのメトリクス（NLI、QG-QA、微調整された系列モデル）のアンサンブルは、大多数のデータセットで個々のメトリクスを上回る性能を示し、強い補完性を示した。
• アンサンブルが成功したが個々のメトリクスが失敗したケースの85.2％は、2つのメトリクスが成功し、1つが失敗した場合であり、失敗はしばしば局所的で、システム的ではないことを示唆した。
• 14.6％のケースでは1つのメトリクスが成功し、残り2つが失敗したが、3つのメトリクスすべてが失敗したがアンサンブルが成功したケースはわずか0.2％にとどまり、アンサンブル手法の高い信頼性を示した。
• 誤りの大きな割合（分析された対話応答62件中10件）は、個人的声明が誤って「根拠なし」とラベル付けされたことに起因しており、対話評価における分野固有の課題を浮き彫りにした。
• 本研究は、ROC AUCがシステムレベルの相関関係よりも解釈可能で実行可能であることを示し、今後の評価の標準として推奨した。