[論文レビュー] ClashEval: Quantifying the tug-of-war between an LLM's internal prior and external evidence

Kevin Wu, Eric Wu+1 more|arXiv (Cornell University)|Apr 16, 2024

Corporate Finance and Governance被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）の内部知識事前分布と外部の取得済み証拠との間の緊張を、検索拡張生成（RAG）システムにおいて定量化するためのフレームワークであるClashEvalを紹介する。著者らは、参照文書を徐々に誤った値に変更する体系的な摂動を施すことで、LLMの内部事前分布が弱い場合には誤ったRAGコンテンツを採用する傾向が強くなるが、事前分布が強い場合には誤った情報を抵抗する傾向があることを示した。これは、RAGの信頼性における根本的なトレードオフを明らかにし、本質的な事実の正しさを前提とする仮定に疑問を呈する。

ABSTRACT

Retrieval augmented generation (RAG) is frequently used to mitigate hallucinations and provide up-to-date knowledge for large language models (LLMs). However, given that document retrieval is an imprecise task and sometimes results in erroneous or even harmful content being presented in context, this raises the question of how LLMs handle retrieved information: If the provided content is incorrect, does the model know to ignore it, or does it recapitulate the error? Conversely, when the model's initial response is incorrect, does it always know to use the retrieved information to correct itself, or does it insist on its wrong prior response? To answer this, we curate a dataset of over 1200 questions across six domains (e.g., drug dosages, Olympic records, locations) along with content relevant to answering each question. We further apply precise perturbations to the answers in the content that range from subtle to blatant errors. We benchmark six top-performing LLMs, including GPT-4o, on this dataset and find that LLMs are susceptible to adopting incorrect retrieved content, overriding their own correct prior knowledge over 60% of the time. However, the more unrealistic the retrieved content is (i.e. more deviated from truth), the less likely the model is to adopt it. Also, the less confident a model is in its initial response (via measuring token probabilities), the more likely it is to adopt the information in the retrieved content. We exploit this finding and demonstrate simple methods for improving model accuracy where there is conflicting retrieved content. Our results highlight a difficult task and benchmark for LLMs -- namely, their ability to correctly discern when it is wrong in light of correct retrieved content and to reject cases when the provided content is incorrect.

研究の動機と目的

• 正しく外部の証拠が提供された場合に、RAGシステムがLLMの空想的生成（ホールーシュネーション）を信頼性を持って是正するかを調査すること。
• LLMが誤ったまたは変更済みの取得済み情報を検出し、拒否できるかを検討すること。
• モデルの内部知識事前分布が、RAGが提供するコンテンツへの従順性に与える影響を定量化すること。
• プロンプト戦略が、事前知識と取得済み事実の間のバランスに与える影響を評価すること。
• GPT-4以外の多様なドメインおよびLLMにおいて、このダイナミクスの頑健性を評価すること。

提案手法

• 著者らは、GPT-4および他のLLMに対して、参照文書あり・なしの両状態で事実中心の質問を提示し、応答のトークン確率を測定した。
• 実世界の検索エラーを模倣するために、数値の外れ値やカテゴリの不一致などを含む、徐々に誤った値に変更された参照文書を体系的に摂動させた。
• 各摂動レベルに対して、RAGの好み率（変更済み文書に一致する応答の割合）を計算した。
• 1200件以上の質問において、モデルの事前応答確率（文脈なしでの正しいトークンの対数確率）とRAGの好み率の相関関係を分析した。
• プロンプトスタイル（例：「厳密に従うこと」対「緩めに従うこと」）が、事前分布とRAGの関係の強さと方向性に与える影響を分析した。
• 一般化性を評価するため、GPT-3.5およびMistral-7Bに対しても分析を拡張した。

Figure 1: A schematic of generating modified documents for each dataset. A question is posed to the LLM with and without a reference document containing information relevant to the query. This document is then perturbed to contain modified information and given as context to the LLM. We then observe

実験結果

リサーチクエスチョン

• RQ1 正しく取得された証拠が提供された場合でも、LLMの空想的生成は信頼性を持って是正されるのか。それとも、正しくてもモデルが失敗する可能性があるのか。
• RQ2 モデルの内部事前分布の強さが、誤った取得済み情報を採用するか拒否するかの傾向にどのように影響するか。
• RQ3 取得済みコンテンツとモデルの事前分布との乖離が、取得された事実を採用する可能性にどの程度影響を与えるか。
• RQ4 異なるプロンプト指示（例：「厳密に従うこと」）が、事前知識とRAG証拠の間のバランスにどのように影響するか。
• RQ5 これらのダイナミクスは、異なるドメインおよびLLMアーキテクチャにおいて一貫しているか。

主な発見

• 正しく参照文書が提供された場合、GPT-4は初期の空想的生成の94％を是正した。これは、理想状態下でのRAGの有効性を確認するものである。
• RAGの好み率は、モデルの事前信頼度と逆相関している：事前確率が10％上昇するごとに、RAGコンテンツに従う可能性は平均で2.3％低下した。
• 事前分布が弱いLLMは、特に乖離が大きい場合、誤った摂動済みRAGコンテンツを採用する可能性が顕著に高くなる。
• 摂動の大きさが正しくない事実から離れるほど、モデルは内部事前分布に戻る傾向が強くなり、非現実的な情報に対して抵抗することが示された。
• 事前信頼度とRAGへの従順性の逆関係は、6つの多様なデータセットで成り立ち、GPT-3.5およびMistral-7Bでも再現され、頑健性が確認された。
• 「RAGコンテンツに厳密に従うこと」という厳格なプロンプト指示が与えられた場合でさえ、モデルは内部事前分布への強いバイアスを示した。特に、事前分布が非常に信頼度が高い場合に顕著であった。

Figure 2: Across six QA datasets using GPT-4, we consistently observe an inverse relationship between the RAG preference rate (y-axis) and two characteristics (x-axes): 1. the model’s prior response probability (lefthand plots), and 2. the amount of deviation from the prior (righthand plots). RAG pr