[論文レビュー] RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge

Yi Liu, Lianzhe Huang+6 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文では、大規模言語モデル（LLMs）の外部反事実的知識に対する耐性を評価するためのベンチマークであるRECALLを紹介する。既存のデータセットから抽出した文脈に事実的に誤りだが妥当性の高い情報を挿入することで、著者らは現在のLLMsが、正しい内部知識を備えていても、このような誤情報に対して極めて感受性が高く、単純なプロンプトベースの介入では限定的な改善にとどまることを示している。

ABSTRACT

LLMs and AI chatbots have improved people's efficiency in various fields. However, the necessary knowledge for answering the question may be beyond the models' knowledge boundaries. To mitigate this issue, many researchers try to introduce external knowledge, such as knowledge graphs and Internet contents, into LLMs for up-to-date information. However, the external information from the Internet may include counterfactual information that will confuse the model and lead to an incorrect response. Thus there is a pressing need for LLMs to possess the ability to distinguish reliable information from external knowledge. Therefore, to evaluate the ability of LLMs to discern the reliability of external knowledge, we create a benchmark from existing knowledge bases. Our benchmark consists of two tasks, Question Answering and Text Generation, and for each task, we provide models with a context containing counterfactual information. Evaluation results show that existing LLMs are susceptible to interference from unreliable external knowledge with counterfactual information, and simple intervention methods make limited contributions to the alleviation of this issue.

研究の動機と目的

• 検索ソースからの反事実的情報に代表される、誤った外部知識に対してLLMsがどれほど効果的に耐性を持つのかを評価するという、極めて重要なギャップを埋めるため。
• 信頼できないまたは誤った外部文脈にさらされた状況下でも、正しい回答を生成できる能力を体系的にテストできる標準化されたベンチマークを構築するため。
• プロンプト工学やリtrievalフィルタリングなどの既存手法が、反事実的干渉に対してモデルの耐性を効果的に高められるかどうかを調査するため。
• 今後のLLMsにおける真実性と信頼性に関する研究のための、タスク固有のメトリクスを備えた信頼性の高い評価フレームワークを提供するため。

提案手法

• GPT-3.5-turboを用いて、EventKGおよびUJデータセットからの既存の知識ベースのサンプルを変更することで、RECALLベンチマークを構築した。ここでは、反事実的事実を文脈パラグラフに挿入した。
• 2つの評価タスクを設計した：質問応答（QA-AおよびQA-NA）とテキスト生成。両方のタスクとも、誤った情報やだせんが含まれる文脈を用いた。
• モデルの性能を反事実的条件下で評価するために、2つの新しいメトリクス（回答正答率と真実性のある生成スコア）を導入した。
• 最先端のLLMs（例：ChatGLM2、LLaMA、Qwen）をベンチマークで評価し、外部誤情報への感受性を測定した。
• 2つの干渉戦略を検討した：(1) 信頼できない文脈を無視するように指示するプロンプトベースのアプローチ、(2) 反事実的コンテンツを削除するリトリーブフィルタリング。
• 誤った文脈がある状況で、モデルの信頼度スコアが誤った応答を特定・フィルタリングするための信号として機能する可能性を分析した。

実験結果

リサーチクエスチョン

• RQ1 正しい内部知識を備えているにもかかわらず、LLMsは外部反事実的知識に対してどれほど感受性を示すのか？
• RQ2 信頼できない文脈を無視するように指示するプロンプトベースの命令は、反事実的干渉に対するモデルの耐性を効果的に向上させられるか？
• RQ3 リトリーブフィルタリング手法は、外部知識ソース内の誤情報の影響をどの程度軽減できるか？
• RQ4 モデルの信頼度スコアは、反事実的文脈の影響を受けた応答を特定するための信頼できる代理指標として機能できるか？

主な発見

• 既存のLLMsは反事実的情報に対して極めて感受性が強い：正解が文脈に明示的に記載されていても、誤った事実にだせんされると、モデルはしばしば誤った応答を生成する。
• プロンプトベースの干渉法（信頼できない文脈を無視するように指示）は、QA-NAタスクで性能が低下した。これは、このような命令が正しい情報への信頼を低下させる可能性があることを示している。
• 事例研究において、ChatGLM2は、誤った指示を受けた後、明確に記載された正しい答え「Pierre Cauchon」を「Jean d’Estivet」（文脈に記載なし）に誤って変更した。これはモデルの混乱を示している。
• リトリーブフィルタリング手法は、耐性の向上に対して限定的な効果しか示さなかった。これは、現在のフィルタリング技術が根本的な問題を解決するには不十分であることを示唆している。
• モデルの信頼度スコアは、反事実的知識の影響を受けた応答を特定するための、有用な信号である可能性があるが、完璧な予測因子ではない。
• ベンチマークRECALLは、LLMの耐性における深刻なギャップを明らかにした：外部知識ソースにわずかな事実の歪みが存在するだけで、モデルは真実性を維持できていない。