[論文レビュー] Knowledge Conflicts for LLMs: A Survey

Rongwu Xu, Zehan Qi+5 more|arXiv (Cornell University)|Mar 13, 2024

Library Science and Information Systems被引用数 4

ひとこと要約

本調査は、大規模言語モデル（LLMs）における知識的矛盾を体系的に分類・分析し、3つのタイプを特定する。すなわち、コンテキスト・メモリ、インターフェース・コンテキスト、イントラ・メモリの矛盾である。これらの矛盾の原因、モデル出力に与える行動的影響を検討し、既存の解決策を評価することで、外部知識源およびパrametric知識源を用いた実世界の応用におけるLLMの頑健性と信頼性を向上させる包括的なフレームワークを提示する。

ABSTRACT

This survey provides an in-depth analysis of knowledge conflicts for large language models (LLMs), highlighting the complex challenges they encounter when blending contextual and parametric knowledge. Our focus is on three categories of knowledge conflicts: context-memory, inter-context, and intra-memory conflict. These conflicts can significantly impact the trustworthiness and performance of LLMs, especially in real-world applications where noise and misinformation are common. By categorizing these conflicts, exploring the causes, examining the behaviors of LLMs under such conflicts, and reviewing available solutions, this survey aims to shed light on strategies for improving the robustness of LLMs, thereby serving as a valuable resource for advancing research in this evolving area.

研究の動機と目的

• コンテキスト知識とパrametric知識の相互作用に起因するLLMsにおける知識的矛盾を体系的に分類・分析すること。
• これらの矛盾の根本的要因を調査すること。具体的には、ノイズの多いまたは誤解を招く外部ソース、および事前学習データ内の不整合性。
• LLMsが異なる矛盾タイプに直面した際の挙動を検討すること。特に、幻覚的または矛盾する出力を生成する傾向について。
• 知識的矛盾を軽減するための既存の解決策をレビュー・評価し、現在のアプローチにおけるギャップを浮き彫りにすること。
• 今後の研究の方向性を特定すること。具体的には、説明可能性、多言語処理、およびマルチモーダルな矛盾解消の分野。

提案手法

• 本調査は、3つの矛盾タイプの分類法を提示する。すなわち、コンテキスト・メモリ（ユーザー入力／取得したコンテキストとモデルのパラメトリック知識との間の矛盾）、インターフェース・コンテキスト（複数の外部コンテキストソース間の矛盾）、イントラ・メモリ（トレーニングデータの不整合に起因する、モデル自身のパラメトリック知識内での矛盾）。
• 知識的矛盾のライフサイクルを、因果的トリガー（例：ノイズの多いデータ、曖昧なプロンプト）とモデルの挙動（例：幻覚的出力、一貫性の欠如）を結ぶ接点として分析する。
• 既存の解決策をレビューする。具体的には、リtrieval-Augmented Generation（RAG）技術、信頼度キャリブレーション、およびアテンションヘッド分析（例：微調整なしで経路パッチングによる矛盾解消を可能にするPH3）。
• 内部モデルメカニズム（アテンションヘッド、ニューロン活性化など）の微視的分析が、矛盾解消の際の解釈可能性を向上させるために不可欠であると強調する。
• 精神分析的アプローチ（フロイト的心理分析）に類似した視点を提唱し、症状の緩和ではなく根本原因の解明に注力することで、矛盾を効果的に是正することを提唱する。
• 今後の研究の方向性として、多言語対応の矛盾検出、多言語間知識の整合性、およびテキスト・ビジョン・音声入力のマルチモーダル統合による矛盾解消を提案する。

実験結果

リサーチクエスチョン

• RQ1 外部コンテキスト知識がモデルのパラメトリック知識と矛盾する場合、コンテキスト・メモリの矛盾はどのように生じるか？
• RQ2 複数の外部ソースが矛盾する情報を提供する場合、インターフェース・コンテキストの矛盾の原因と行動的兆候は何か？
• RQ3 なぜイントラ・メモリの矛盾がLLMsに生じるのか。また、同じ質問を異なる表現で提示した場合の応答の一貫性にどのように影響を与えるか？
• RQ4 知識的矛盾は、実世界応用における幻覚的出力やモデルの信頼性低下にどのように寄与するか？
• RQ5 現在の解決策の限界は何か。今後の研究が、説明可能性、多言語処理、マルチモーダル統合を通じて、モデルの頑健性をどのように向上させられるか？

主な発見

• 知識的矛盾は、外部コンテキストがパラメトリック知識と矛盾する場合に、幻覚的出力や一貫性の欠如を引き起こす主要因である。
• コンテキスト・メモリの矛盾は、リtrieval-Augmented LLMsにおいて顕著であり、ノイズの多いまたは悪意あるドキュメントがモデルの出力を誤導する要因となる。
• インターフェース・コンテキストの矛盾は、複数の取得済みドキュメントが矛盾する情報を提供する場合に生じ、モデルの推論における不確実性を高める。
• イントラ・メモリの矛盾は、トレーニングデータの不整合に起因し、意味的に同等の質問に対しても異なる答えを出力する原因となる。
• 現在の解決策は、しばしば仮定された事前知識やヒューリスティックなルールに依存しており、多様な矛盾タイプに一般化されず、細分化された分析が不足している。
• Pruning Head via Path Patching（PH3）のような新規技術は、パrameterの更新なしにアテンションヘッドの寄与度を分析することで、矛盾を解消する可能性を示している。