[論文レビュー] How Susceptible are LLMs to Influence in Prompts?

Sotiris Anagnostidis, Jannis Bulian|arXiv (Cornell University)|Aug 17, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本研究では、他のモデルの予測や説明といった拡張入力を含む入力に対して、大規模言語モデル（LLM）がどの程度影響を受けやすいかを調査している。Llama2、Mixtral、Falconを用いて多様な質疑応答タスクで実験した結果、説明が事実誤認であっても、特にその入力が権威的または高い自信をもって提示されている場合、LLMは外部入力の影響を強く受けることが判明した。これは、リtrieval-augmentedシステムやマルチエージェントシステムにおけるリスクを示している。

ABSTRACT

Large Language Models (LLMs) are highly sensitive to prompts, including additional context provided therein. As LLMs grow in capability, understanding their prompt-sensitivity becomes increasingly crucial for ensuring reliable and robust performance, particularly since evaluating these models becomes more challenging. In this work, we investigate how current models (Llama, Mixtral, Falcon) respond when presented with additional input from another model, mimicking a scenario where a more capable model -- or a system with access to more external information -- provides supplementary information to the target model. Across a diverse spectrum of question-answering tasks, we study how an LLM's response to multiple-choice questions changes when the prompt includes a prediction and explanation from another model. Specifically, we explore the influence of the presence of an explanation, the stated authoritativeness of the source, and the stated confidence of the supplementary input. Our findings reveal that models are strongly influenced, and when explanations are provided they are swayed irrespective of the quality of the explanation. The models are more likely to be swayed if the input is presented as being authoritative or confident, but the effect is small in size. This study underscores the significant prompt-sensitivity of LLMs and highlights the potential risks of incorporating outputs from external sources without thorough scrutiny and further validation. As LLMs continue to advance, understanding and mitigating such sensitivities will be crucial for their reliable and trustworthy deployment.

研究の動機と目的

• 質問応答タスクにおける他のモデルからの拡張入力に対してLLMがどのように反応するかを理解すること。
• 外部入力の質、権威性、または自信度がLLMの応答に与える影響を調査すること。
• 提示戦略が外部ソースによる不適切な影響を軽減できるかどうかを評価すること。
• 多様な推論および知識タスクにおいて、最先端のオープンソースLLMにおけるプロンプト感受性の程度を評価すること。
• 外部モデル出力を検証せずに統合する際の誤りの伝搬やバイアスの強化のリスクを浮き彫りにすること。

提案手法

• Llama2、Mixtral、Falconの3つのオープンソースLLMを用いて実験を実施した。
• PIQA、SIQA、CommonsenseQA、OpenBookQA、WikiQA、GPQA、QuALITY、BoolQの8つの多様な質問応答ベンチマークでモデルの応答を評価した。
• ターゲットモデル（ジャッジ）のプロンプトに、外部モデル（アドボカシー）が予測された答えと推論を提供する形で導入した。
• 影響要因を3つに変化させた：説明の有無、ソースの権威性（5段階）、表明された自信度。
• アドボカシー入力が与えられた場合とベースラインプロンプトとの比較で、ジャッジモデルの応答の変化を測定した。
• 制御されたプロンプティングを用いて、緩和戦略が感受性を低下させられるかどうかを評価した。

Figure 1: Leveraging external evidence, augmented inputs can help LLMs provide more informed answers.

実験結果

リサーチクエスチョン

• RQ1 外部モデルの説明が、複数選択式の質問に対するターゲットLLMの応答にどのような影響を与えるか？
• RQ2 外部ソースの権威性が、ターゲットLLMの意思決定にどの程度影響を与えるか？
• RQ3 外部入力の表明された自信度が、ターゲットモデルの感受性を増幅するか、あるいは減少させるか？
• RQ4 プロンプティング戦略は、外部入力の影響を効果的に軽減できるか？
• RQ5 説明の正しさが、特に説明が事実誤認である場合に、ターゲットモデルの応答にどのような影響を与えるか？

主な発見

• LLMは、提供された説明が事実誤認であっても、外部モデルの入力の影響を強く受ける。
• 説明の有無が、その質や論理的妥当性に関係なく、感受性を高める。
• 入力が権威的または高い自信をもって提示されている場合、モデルは主張された答えを採用する傾向が高くなるが、効果の大きさは小さい。
• 認識された権威性と表明された自信度が高くなるほど影響が増大し、ソースの信頼性の兆候に感受性があることが示された。
• ジャッジモデル自身が非常に自信を持って回答したベースライン応答でも、外部の影響から完全に保護されていない。
• 標準的なプロンプティング技術では、この感受性を軽減できないため、アーキテクチャ的または推論レベルの解決策の必要性が示唆された。

Figure 3: Influence of advocates’ responses to judges’ predictions. Shading indicates whether an advocate provides their argument why their choice is the correct one, as seen in Tab. 2 (bottom right).