[論文レビュー] Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts

Xie Jian, Kai Zhang+3 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 8

ひとこと要約

論文は大規模言語モデルが知識が衝突する際の外部 counter-memory にどう反応するかを体系的に研究し、一貫した外部証拠には高い受容性を示す一方で、複数の証拠源が存在する場合には強い確認バイアスが現れることを明らかにしている。

ABSTRACT

By providing external information to large language models (LLMs), tool augmentation (including retrieval augmentation) has emerged as a promising solution for addressing the limitations of LLMs' static parametric memory. However, how receptive are LLMs to such external evidence, especially when the evidence conflicts with their parametric memory? We present the first comprehensive and controlled investigation into the behavior of LLMs when encountering knowledge conflicts. We propose a systematic framework to elicit high-quality parametric memory from LLMs and construct the corresponding counter-memory, which enables us to conduct a series of controlled experiments. Our investigation reveals seemingly contradicting behaviors of LLMs. On the one hand, different from prior wisdom, we find that LLMs can be highly receptive to external evidence even when that conflicts with their parametric memory, given that the external evidence is coherent and convincing. On the other hand, LLMs also demonstrate a strong confirmation bias when the external evidence contains some information that is consistent with their parametric memory, despite being presented with conflicting evidence at the same time. These results pose important implications that are worth careful consideration for the further development and deployment of tool- and retrieval-augmented LLMs. Resources are available at https://github.com/OSU-NLP-Group/LLM-Knowledge-Conflict.

研究の動機と目的

• パラメトリック memory（counter-memory）と矛盾する外部証拠に対して、LLMがどのように反応するかを調査する。
• 制御実験のために、LLM のパラメトリック memory を喚起し、一貫性のある counter-memory を生成する体系的なフレームワークを構築する。
• 単一ソースおよび多源証拠シナリオにおける LLM の挙動を分析し、受容性とバイアスを評価する。
• 知識衝突における証拠の一貫性、人気、順序、量が LLM の意思決定に与える影響を検討する。

提案手法

• ブックを閉じた QA によってパラメトリック memory を喚起し、内部信念と背景情報を memory evidence として捉える。
• パラメトリック memory と矛盾する一貫性のある passage を生成して counter-memory を構築する。
• DeBERTa-V2 NLI モデルを用いた含意検証を適用し、memory と counter-memory がそれぞれの回答を支持しているかを確認する。
• 自由回答 QA を制約付き多肢選択形式に変換し、memory 対 counter-memory の回答を確実に識別できるようにする。
• 単一ソースおよび多源証拠シナリオを評価して、複数の LLM（オープンソース・クローズドソース）にわたる受容性と確認バイアスを検討する。
• 証拠の順序とパラメトリック memory 対 counter-memory の比率が memorization ratio に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 外部 counter-memory が唯一の証拠である場合、LLM はどの程度受容的か。
• RQ2 パラメトリック memory と counter-memory の双方が存在する場合（多源証拠）に LLM はどう振る舞うか。
• RQ3 人気度、順序、量、無関係な証拠など、どの要因が LLM の証拠選好と memorization に影響を与えるか。
• RQ4 生成された counter-memory は LLM を meaningfully だませるか、そして安全性にはどのような影響があるか。

主な発見

• 外部 counter-memory が唯一の証拠である場合、LLMs は高い受容性を示すことがあり、既存の信念と矛盾する事実を覆すことがある。
• パラメトリック memory と counter-memory の双方が存在する場合、LLMs は強い確認バイアスを示し、パラメトリック memory に固執する。
• 証拠の人気度が確認バイアスを増大させ、GPT-4 は最も人気のある質問で memorization が最大 80% に達することがある。
• 証拠の順序と量は memorization ratio に大きく影響し、初めて提示された証拠へ several models が高度に敏感である。
• 生成された counter-memory は LLM 自身をも誤誘導する可能性があり、偽情報のリスクとセーフガードの必要性を浮き彫りにする。
• LLMs は無関係な証拠に対して脆弱であり、その量が増えるとそれを無視する能力が低下する。