[論文レビュー] Resolving Knowledge Conflicts in Large Language Models

Yike Wang, Shangbin Feng+5 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、大規模言語モデル（LLMs）がパrametric知識（内部重み）と非パrametricな文脈（外部情報）の間の知識的矛盾——すなわち、不一致——をどの程度正しく検出・処理できるかを評価する包括的な評価フレームワーク「Knowledge Conflict」を紹介する。このフレームワークは、LLMsの3つの主要な能力——矛盾の検出、矛盾するセグメントの特定、異なる回答の生成——を評価する。実験の結果、LLMsは矛盾の検出には比較的うまく対処できるが、矛盾の特定や異なる反応の生成では困難を示しており、著者らはこれらのタスクで顕著な性能向上をもたらすインstructベースの手法を提案する。

ABSTRACT

Large language models (LLMs) often encounter knowledge conflicts, scenarios where discrepancy arises between the internal parametric knowledge of LLMs and non-parametric information provided in the prompt context. In this work we ask what are the desiderata for LLMs when a knowledge conflict arises and whether existing LLMs fulfill them. We posit that LLMs should 1) identify knowledge conflicts, 2) pinpoint conflicting information segments, and 3) provide distinct answers or viewpoints in conflicting scenarios. To this end, we introduce KNOWLEDGE CONFLICT, an evaluation framework for simulating contextual knowledge conflicts and quantitatively evaluating to what extent LLMs achieve these goals. KNOWLEDGE CONFLICT includes diverse and complex situations of knowledge conflict, knowledge from diverse entities and domains, two synthetic conflict creation methods, and settings with progressively increasing difficulty to reflect realistic knowledge conflicts. Extensive experiments with the KNOWLEDGE CONFLICT framework reveal that while LLMs perform well in identifying the existence of knowledge conflicts, they struggle to determine the specific conflicting knowledge and produce a response with distinct answers amidst conflicting information. To address these challenges, we propose new instruction-based approaches that augment LLMs to better achieve the three goals. Further analysis shows that abilities to tackle knowledge conflicts are greatly impacted by factors such as knowledge domain and prompt text, while generating robust responses to knowledge conflict scenarios remains an open research question.

研究の動機と目的

• 大規模言語モデル（LLMs）が、内部のパラメトリック知識と外部の文脈との間で生じる知識的矛盾を適切に認識・応答できるかどうかを調査すること。
• 知識的矛盾の状況においてLLMsが満たすべき3つの主要な望ましい特性——矛盾の存在を検出すること、矛盾するセグメントを特定すること、異なる回答を生成すること——を定義し、評価すること。
• 特に特定の矛盾箇所の特定や、一貫性のない応答の生成を回避する能力に欠ける点を含め、現在のLLMsの知識的矛盾処理における限界を同定すること。
• 知識的矛盾を効果的に処理できるようにするためのインストラクションベースのプロンプト戦略を提案し、その有効性を評価すること。
• LLMsの知識的矛盾処理能力を体系的に評価するためのベンチマークフレームワークを確立すること。

提案手法

• Knowledge Conflictフレームワークは、10,000エンティティから構成されるデータセットから抽出された20のドメインおよび200のトピック分野にわたり、多様なエンティティを用いて文脈的知識的矛盾を模擬する。
• 2つの合成的矛盾生成手法を用い、特定のプロンプトに適合したパラメトリック知識と外部文脈との間で矛盾を生じるペアを生成する。
• 段階的に複雑さを増す3つの評価タスクを定義する：(1) コンテキスト知識的矛盾検出、(2) QAスパン知識的矛盾検出、(3) 異なる回答の生成。
• LLMの推論を向上させるために、CoT（チェーン・オブ・トゥークン）、Self-ask、GKP（生成して継続的プロンプト）および新規の「Ours」手法を含むインストラクションベースのプロンプト戦略を導入する。
• ゼロショット、フェイシット、フェイシット＋CoTプロンプトを用い、テスト入力では文脈、質問、知識のプレースホルダーが動的に置換される。
• GPT-3.5-turboなどのモデルを用いて実験を行い、定量的指標と定性的分析を通じて、タスクごとのパフォーマンスを評価する。

Figure 1: We expect LLMs to 1) acknowledge knowledge conflicts, 2) point out the specific conflicting segments, and 3) generate different answers based on conflicting pieces of information.

実験結果

リサーチクエスチョン

• RQ1 LLMsは、パラメトリック知識と非パラメトリック知識の間の知識的矛盾の存在を信頼性高く検出できるか？
• RQ2 LLMsは、知識的矛盾が生じる文脈内の特定のセグメントをどの程度正確に特定できるか？
• RQ3 LLMsは、矛盾する情報に基づいて、文脈に根ざした異なる回答を生成できるか。それとも、片方の情報源に依存して回答を出力するのか？
• RQ4 知識ドメインやプロンプト構造といった要因は、LLMsの知識的矛盾処理能力にどの程度影響を与えるか？
• RQ5 インストラクションベースのプロンプト戦略は、LLMsの知識的矛盾の解決能力を顕著に向上させることができるか？

主な発見

• LLMsは、知識的矛盾の存在検出においてランダムベースラインを上回る性能を示しており、矛盾の存在にある程度の認識があることが示唆される。
• 特定の矛盾セグメントを特定するタスクでは、性能が著しく低下しており、文脈内での不一致の特定に困難を示している。
• 矛盾する情報に基づいた異なる回答の生成においてもLLMsは困難を示しており、しばしば片方の情報源に依存するか、一貫性のない応答を生成する傾向がある。
• 提案されたインストラクションベースの手法——特にSelf-askとOurs——は、矛盾検出および異なる回答生成の両タスクで顕著なパフォーマンス向上をもたらした。
• 知識ドメインやプロンプト構造はLLMsの挙動に顕著な影響を及ぼしており、異なる種類の矛盾知識に対してパフォーマンスに差が見られた。
• 強固で信頼性のある知識的矛盾処理は、依然として未解決の研究課題であり、特定のプロンプト戦略による改善にもかかわらず、その課題は依然として残っている。

Figure 2: We introduce the Knowledge Conflict framework to comprehensively analyze and improve LLMs’ handling of knowledge conflicts. The framework handles concrete spans where knowledge conflicts arise, and facilitates meaningful outputs, granting its users the agency to find appropriate responses