[논문 리뷰] How Susceptible are LLMs to Influence in Prompts?

Sotiris Anagnostidis, Jannis Bulian|arXiv (Cornell University)|2024. 08. 17.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)이 다른 모델의 예측 및 설명과 같은 보강된 입력으로부터 얼마나 영향을 받는지 조사한다. Llama2, Mixtral, Falcon을 다양한 질의응답 과제에서 사용하여, 설명이 사실과 어긋나더라도 특히 입력이 권위적 또는 매우 확신 있는 방식으로 제시될 경우 LLMs가 외부 입력에 의해 강하게 영향을 받는다는 것을 발견하였다. 이는 검색 기반 보강 및 다중 에이전트 시스템에서의 위험을 드러낸다.

ABSTRACT

Large Language Models (LLMs) are highly sensitive to prompts, including additional context provided therein. As LLMs grow in capability, understanding their prompt-sensitivity becomes increasingly crucial for ensuring reliable and robust performance, particularly since evaluating these models becomes more challenging. In this work, we investigate how current models (Llama, Mixtral, Falcon) respond when presented with additional input from another model, mimicking a scenario where a more capable model -- or a system with access to more external information -- provides supplementary information to the target model. Across a diverse spectrum of question-answering tasks, we study how an LLM's response to multiple-choice questions changes when the prompt includes a prediction and explanation from another model. Specifically, we explore the influence of the presence of an explanation, the stated authoritativeness of the source, and the stated confidence of the supplementary input. Our findings reveal that models are strongly influenced, and when explanations are provided they are swayed irrespective of the quality of the explanation. The models are more likely to be swayed if the input is presented as being authoritative or confident, but the effect is small in size. This study underscores the significant prompt-sensitivity of LLMs and highlights the potential risks of incorporating outputs from external sources without thorough scrutiny and further validation. As LLMs continue to advance, understanding and mitigating such sensitivities will be crucial for their reliable and trustworthy deployment.

연구 동기 및 목표

• 질의응답 과제에서 다른 모델의 보강된 입력에 LLMs가 어떻게 반응하는지 이해하는 것.
• 외부 입력의 품질, 권위성 또는 확신 수준이 LLM의 응답에 영향을 미치는지 조사하는 것.
• 프롬프팅 전략이 외부 소스로부터의 부당한 영향을 완화하는 데 효과적인지 평가하는 것.
• 다양한 추론 및 지식 과제에서 최신 오픈소스 LLMs의 프롬프트 민감도 수준을 평가하는 것.
• 검증 없이 외부 모델 출력을 통합할 경우 오류 전파 및 편향 강화의 위험을 부각하는 것.

제안 방법

• Llama2, Mixtral, Falcon 세 개의 오픈소스 LLM을 사용하여 실험을 수행하였다.
• PIQA, SIQA, CommonsenseQA, OpenBookQA, WikiQA, GPQA, QuALITY, BoolQ 등 여덟 가지 다양한 질의응답 벤치마크에서 모델 응답을 평가하였다.
• 목표 모델(judge)의 프롬프트에 외부 모델(추종자)이 예측된 답변과 추론을 제공하도록 구성하였다.
• 영향력 요인 세 가지를 다양화: 설명의 유무, 소스의 권위성(5단계), 명시된 확신 수준.
• 추종자 입력이 있는 경우와 기본 프롬프트의 경우를 비교하여 판별 모델의 응답 변화를 측정하였다.
• 통제된 프롬프팅을 사용하여 외부 영향력 감소 전략의 효과를 평가하였다.

Figure 1: Leveraging external evidence, augmented inputs can help LLMs provide more informed answers.

실험 결과

연구 질문

• RQ1 외부 모델의 설명이 다중 선택 문제에 대한 타겟 LLM의 응답에 어떤 영향을 미치는가?
• RQ2 외부 소스의 권위성이 타겟 LLM의 의사결정에 얼마나 큰 영향을 미치는가?
• RQ3 외부 입력의 명시된 확신 수준이 타겟 모델의 영향 수용도를 증가시키는지 감소시키는지 여부는 무엇인가?
• RQ4 프롬프팅 전략이 외부 입력의 영향을 효과적으로 줄일 수 있는가?
• RQ5 설명의 정확도가 타겟 모델의 응답에 어떤 영향을 미치며, 특히 설명이 사실과 어긋날 경우 어떻게 되는가?

주요 결과

• LLMs는 제공된 설명이 사실과 어긋나더라도 외부 모델 입력에 의해 강하게 영향을 받는다.
• 설명의 존재는 그 품질이나 논리적 타당성과 관계없이 영향 수용도를 높인다.
• 입력이 권위적 또는 매우 확신 있는 것으로 표시될 경우 모델는 추종자 답변을 더 자주 수용한다. 다만 영향력 크기는 작다.
• 권위성과 명시된 확신 수준이 높을수록 영향력이 증가하여, 소스 신뢰도 신호에 민감함을 보인다.
• 판별 모델가 자체적으로 매우 확신하는 기본 응답이라도 외부 영향으로부터 완전히 보호되지 않는다.
• 표준 프롬프팅 기법은 이러한 영향 수용도를 충분히 줄이지 못하므로, 보다 깊이 있는 아키텍처나 추론 수준의 해결책이 필요하다.

Figure 3: Influence of advocates’ responses to judges’ predictions. Shading indicates whether an advocate provides their argument why their choice is the correct one, as seen in Tab. 2 (bottom right).