[論文レビュー] LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond

Philippe Laban, Wojciech Kryściński+5 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 12

ひとこと要約

この論文は大規模言語モデルが要約の事実的不整合検出でどのように機能するかを分析し、SummEditsをスケーラブルで再現性のあるベンチマークとして導入し、ほとんどのLLMsが専門的なベースラインや人間の性能と比較して複雑な事実推論タスクで苦戦することを示している。

ABSTRACT

With the recent appearance of LLMs in practical settings, having methods that can effectively detect factual inconsistencies is crucial to reduce the propagation of misinformation and improve trust in model outputs. When testing on existing factual consistency benchmarks, we find that a few large language models (LLMs) perform competitively on classification benchmarks for factual inconsistency detection compared to traditional non-LLM methods. However, a closer analysis reveals that most LLMs fail on more complex formulations of the task and exposes issues with existing evaluation benchmarks, affecting evaluation precision. To address this, we propose a new protocol for inconsistency detection benchmark creation and implement it in a 10-domain benchmark called SummEdits. This new benchmark is 20 times more cost-effective per sample than previous benchmarks and highly reproducible, as we estimate inter-annotator agreement at about 0.9. Most LLMs struggle on SummEdits, with performance close to random chance. The best-performing model, GPT-4, is still 8\% below estimated human performance, highlighting the gaps in LLMs' ability to reason about facts and detect inconsistencies when they occur.

研究の動機と目的

• 既存のLLMsが事実不整合検出ベンチマークでどのように機能するかを評価する。
• 現在のベンチマークと評価指標の制限を特定する。
• 複数領域にわたる難易度の高い事実的一致性ベンチマークを再現可能かつスケーラブルなプロトコルで構築する。
• 新しいSummEditsベンチマークを用いてLLMと非LLMベースラインを評価し、事実推論能力を測定する。

提案手法

• FactCCおよび他のベンチマーク上で、さまざまなモデル（非LLMs、ファウンデーションモデル、指示にチューニングされたLLMs、チャット型LLMs）を評価する。
• 二値の一貫性予測とモデル生成の説明の正確さと信頼性を分析する。
• 高いアノテータ一致を伴う編集要約を作成するスケーラブルなプロトコル（種子ベース、SummEdits）を開発する。
• SummEditsを10領域に展開し、モデルの性能を人間の性能推定と比較する。
• 日付/エンティティ/数値/代名詞/否定の誤りなど、細粒度および誤りタイプ別の評価を実施する。
• AggreFact、DialSummEvalなど既存のクラウドソーシングベースのベンチマークの信頼性とアノテーション品質を評価し、SummEditsプロトコルの動機づけを行う。

実験結果

リサーチクエスチョン

• RQ1 現行のLLMsは事実不整合検出において専門的なベースラインと既存ベンチマークに対してどの程度及ぶか。
• RQ2 LLMsは検出された不整合に対して正確な説明を一貫して生成できるか。
• RQ3 既存ベンチマークの限界は何か、より信頼性が高くスケーラブルな評価プロトコルを設計できるか。
• RQ4 SummEditsのような領域分化された費用対効果の高いベンチマークは、従来のベンチマークでは明らかでなかったLLMの事実推論のギャップを明らかにできるか。
• RQ5 プロンプト設計（ゼロショット、フェショット、チェーン・オブ・思考、エビデンス付き生成）がモデル間で一貫して性能を向上させるか。

主な発見

• いくつかのLLMsは単純な不整合タスクで最先端の専門的方法と同等程度またはそれに近い性能を示すが、より複雑な表現では性能が低下する。
• 二値予測に伴う説明は、モデルがYes/Noラベルで正確であってもしばしば誤っているか関連性が低い。
• AggreFactなどのクラウドベースのベンチマークはラベルの信頼性に欠けることが多く、サンプルの sizeable が誤ラベリングされている可能性があるため、改善されたプロトコルが必要。
• SummEditsは10領域にわたる種子編集プロトコルで、サンプルあたり約20x安価であり、高いアノテータ間一致（約0.9）を達成するが、多くのモデルは依然として苦戦し、このチャレンジでほぼランダムに近い性能にとどまる。
• GPT-4はSummEditsで最も良い性能を示すが、推定される人間の性能から約8%程度不足しており、複雑な事実推論の改善余地が大きいことを示している。
• エビデンスを生成するプロンプトは、多くの場合、事実性評価にはチェーン・オブ・思考プロンプトよりも優れている傾向がある。