[論文レビュー] The Knowledge Alignment Problem: Bridging Human and External Knowledge for Large Language Models

Shuo Zhang, Liangming Pan+2 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、大規模言語モデル（LLMs）が制約や条件の不整合により、ユーザーの質問を外部知識と正しく結びつけられないという知識整合性問題を提示する。MixAlignは、LLMによる制約マッチングと的確な人間の確認を組み合わせることで、幻覚を最大27.1%まで低減し、ユーザー中心の高品質な確認により、性能を22.2%向上させる。

ABSTRACT

Large language models often necessitate grounding on external knowledge to generate faithful and reliable answers. Yet even with the correct groundings in the reference, they can ignore them and rely on wrong groundings or their inherent biases to hallucinate when users, being largely unaware of the specifics of the stored information, pose questions that might not directly correlate with the retrieved groundings. In this work, we formulate this knowledge alignment problem and introduce MixAlign, a framework that interacts with both the human user and the knowledge base to obtain and integrate clarifications on how the user question relates to the stored information. MixAlign employs a language model to achieve automatic knowledge alignment and, if necessary, further enhances this alignment through human user clarifications. Experimental results highlight the crucial role of knowledge alignment in boosting model performance and mitigating hallucination, with improvements noted up to 22.2% and 27.1% respectively. We also demonstrate the effectiveness of MixAlign in improving knowledge alignment by producing high-quality, user-centered clarifications.

研究の動機と目的

• ユーザーの質問と外部知識との間の不整合が、暗黙的または欠落した制約によって引き起こされる知識整合性問題を特定・形式化すること。
• 内部知識に偏りがあるため、忠実な根拠に基づかない既存のLLMシステムにおけるギャップを埋めること。
• 自動化されたLLM推論と的確な人間の確認の両方を活用して、整合性を向上させるミックスド・イニシアチブフレームワークを設計すること。
• 知識整合性の有効性が、幻覚の低減および質問応答タスクにおける事実整合性の向上に与える影響を評価すること。

提案手法

• MixAlignは、ユーザーの質問に含まれる制約を外部知識ベースの対応フィールドにマッピングすることで、LLMベースの知識整合性を開始する。
• 制約マッチングに不確実性が生じた場合、MixAlignは人間ユーザーに対して的確な確認質問を生成する。
• モデルが生成した確認と人間が提供した確認を統合し、回答生成の前に根拠を精緻化する。
• 2段階のプロセスを採用する：明示的制約マッチングの後、残存する曖昧なケースについての暗黙的整合性の確立。
• 制約マッチングの信頼度しきい値に基づき、ユーザーをいつ関与させるかを動的に決定する。
• 平均して1インスタンスあたりたった1.08～1.19回の確認質問で済ませるよう設計されており、ユーザーの負担を最小限に抑える。

Figure 1: Knowledge Misalignment. Even if the user knows about the city constraint, he/she may not put it in the question being unaware that “city” is needed to filter noisy candidates. For the same reason, the user may not give a precise event name. Due to the misalignment between the user question

実験結果

リサーチクエスチョン

• RQ1 ユーザーの質問と外部知識との不整合が、LLMの幻覚にどのように寄与するか？
• RQ2 LLMによる制約マッチングのみで、知識整合性の問題をどれほど解決できるか？
• RQ3 人間による確認が、幻覚の低減および事実の正確性向上に与える影響は何か？
• RQ4 MixAlignフレームワークは、高品質な整合性を維持しながら、ユーザーの負担をどれほど効率的に最小限に抑えられるか？
• RQ5 ノイズが多い、または関連性のない根拠がある状況下で、MixAlignの性能はオラクルレベルの確認やベースライン手法と比べてどうなるか？

主な発見

• MixAlignは、ベースラインモデルと比較して幻覚を最大27.1%まで低減し、事実整合性の向上に向けた知識整合性の重要性を実証した。
• MixAlignを用いることで、性能は最大22.2%向上し、ユーザーの意図を外部知識と整合させることの利点を示した。
• 関連性のない知識が増えると、MixAlignとLLMオンリーベースラインの性能差が広がり、カバレッジで7.7%、幻覚で9.8%の差が生じ、確認の必要性を強調した。
• 人間の支援は不可欠である：人間の確認を除いたバージョン（w/o Human）は、ノイズが増えるにつれて顕著な性能低下を示し、LLMが自信を持って制約マッチングを行うのが困難であることを示した。
• ナーブなアプローチと比較して、MixAlignはユーザーの確認の必要回数を14.2%～22.5%まで削減し、通常1インスタンスあたり1.08～1.19回の確認質問で済ませられる。
• 暗黙的知識整合性は必須である：これを除去すると性能は一貫して低下し、ノイズが増加しても差が安定したままであることから、明示的整合性からの誤りの伝搬が生じることが示された。

Figure 2: Oracle clarification results regarding different knowledge alignment types.