[논문 리뷰] Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs

Pengda Wang, Zilin Xiao외 2명|arXiv (Cornell University)|2024. 04. 01.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 히وري스틱 추론 오류에 대한 취약성을 평가하기 위해 6종류의 인지 편향 유형에 걸쳐 202개의 대표성 히وري스틱 문제를 포함한 ReHeAT라는 벤치마크 데이터셋을 소개한다. 통계 지식은 올바르게 보유하고 있음에도 불구하고, 테스트된 네 종류의 LLMs(GPT-3.5, GPT-4, PaLM 2, LLaMA 2)는 스테레오타입이 존재할 경우 통계적 추론을 적용하지 못하며, 이는 대표성 히وري스틱 편향을 보여주는 것이다. 그러나 프롬프팅 힌트를 제공하면 성능이 크게 향상되어 데이터 편향과는 다름없는 고유한 인지적 함정이 드러나 있다.

ABSTRACT

Although large language models (LLMs) have demonstrated remarkable proficiency in modeling text and generating human-like text, they may exhibit biases acquired from training data in doing so. Specifically, LLMs may be susceptible to a common cognitive trap in human decision-making called the representativeness heuristic. This is a concept in psychology that refers to judging the likelihood of an event based on how closely it resembles a well-known prototype or typical example, versus considering broader facts or statistical evidence. This research investigates the impact of the representativeness heuristic on LLM reasoning. We created ReHeAT (Representativeness Heuristic AI Testing), a dataset containing a series of problems spanning six common types of representativeness heuristics. Experiments reveal that four LLMs applied to ReHeAT all exhibited representativeness heuristic biases. We further identify that the model's reasoning steps are often incorrectly based on a stereotype rather than on the problem's description. Interestingly, the performance improves when adding a hint in the prompt to remind the model to use its knowledge. This suggests the uniqueness of the representativeness heuristic compared to traditional biases. It can occur even when LLMs possess the correct knowledge while falling into a cognitive trap. This highlights the importance of future research focusing on the representativeness heuristic in model reasoning and decision-making and on developing solutions to address it.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 대표성 히وري스틱, 즉 유사성에 따라 가능성 여부를 판단하는 인지 편향을 보이는지 조사하기 위해.
• 데이터 분포 편향 외의 인지 편향, 특히 추론 단서에 기반한 편향에 대한 연구 부족을 보완하기 위해.
• LLMs의 히وري스틱 추론 오류에 대한 취약성을 평가하기 위한 종합적이고 표준화된 벤치마크를 개발하기 위해.
• 모델가 올바른 통계 지식을 보유하고 있음에도 불구하고, 프롬프팅 전략(예: 힌트)이 이러한 히وري스틱 오류를 완화할 수 있는지 탐색하기 위해.

제안 방법

• 기본률 오류, 결합 오류, 배타 오류, 표본 크기 민감도 부족, 확률에 대한 오해, 회귀 오류 등 6종류의 대표성 히وري스틱에 해당하는 문제 202개로 구성된 ReHeAT 데이터셋을 구축하였다.
• 클래식 심리학 연구(예: Tversky & Kahneman, 1983)에서 유도한 문제들을 변형하여 통계적 추론과 직관적 스테레오타입 간의 갈등을 유도하는 시나리오를 제작하였다.
• Zero-shot, 체인 오브 톰(Chain-of-Thought), 인라인 컨텍스트 학습, 자기 일관성 프롬프팅 기법을 사용하여 GPT-3.5, GPT-4, PaLM 2, LLaMA 2의 네 종류의 LLMs를 ReHeAT에서 평가하였다.
• 각 인스턴스에 대해 두 가지 병렬 질문을 설계: 통계적 프로토타입 질문(SPQ)은 논리를 통계적으로 표현하고, 대표성 히وري스틱 질문(RHQ)은 동일한 논리를 스테레오타입적 상황에 통합하였다.
• 모델가 자신의 지식을 상기시킬 수 있도록 힌트 기반 프롬프팅 전략을 설계하여, 힌트가 히وري스틱 편향을 완화할 수 있는지 테스트하였다.
• 모델의 추론 단계를 분석하여 결정이 스테레오타입에 기반했는지 통계적 사실에 기반했는지 식별하였다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models, LLMs)은 인간과 유사하게 대표성 히وري스틱을 추론에 활용하는가?
• RQ2 문제가 통계적으로 중립적인 방식으로 서술된 경우 LLMs는 올바른 통계적 추론을 적용할 수 있지만, 스테레오타입적 묘사가 포함되면 실패하는가?
• RQ3 모델의 지식를 상기시키는 프롬프팅 힌트를 제공할 경우, LLMs의 히وري스틱 편향이 어느 정도 감소하는가?
• RQ4 LLMs에서의 대표성 히وري스틱은 데이터 분포 편향과 같은 다른 형태의 편향과 구별되는가?
• RQ5 체인 오브 톰, 인라인 컨텍스트 학습 등의 다양한 프롬프팅 전략은 LLMs의 대표성 히وري스틱 오류에 대한 취약성에 어떤 영향을 미치는가?

주요 결과

• 평가된 네 종류의 LLMs(GPT-3.5, GPT-4, PaLM 2, LLaMA 2) 모두 유의미한 대표성 히وري스틱 편향을 보였으며, 통계적으로 타당한 결과보다 스테레오타입적 결과를 더 가능성 높다고 잘못 평가하였다.
• 통계적 프로토타입 질문(SPQ)에선 정확히 답했지만, 대표성 히وري스틱 질문(RHQ)에선 동일한 추론을 적용하지 못해, 히وري스틱 압력 아래에서 지식을 전이하지 못하는 실패를 보였다.
• 프롬프팅 힌트를 추가하면 RHQ에서의 성능이 뚜렷이 향상되어, 모델들이 올바른 지식를 보유하고 있음에도 불구하고 인지적 단서에 의해 차단된다는 것을 시사한다.
• 모델의 추론은 명시적으로 제시된 통계적 사실(예: '대부분의 학생들이 예술 동아리에 소속되어 있다')보다는 스테레오타입적 연관성(예: '여자 아이들이 예술 분야에 더 많다')에 기반한 경우가 많았다.
• LLMs에서의 대표성 히وري스틱은 데이터 편향과 구별되며, 모델이 편향 없는 데이터로 훈련되었고 올바른 지식를 보유하고 있음에도 불구하고 실패할 수 있음을 보여준다.
• 본 연구는 LLMs에 고유한 인지적 함정을 드러내며, 통계적 도구를 갖추고 있음에도 불구하고 직관적이고 프로토타입 기반 추론에 속을 수 있음을 보여준다.