[논문 리뷰] Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4

Thilo Hagendorff, Sarah Fabi|arXiv (Cornell University)|2023. 06. 13.

Topic Modeling인용 수 5

한 줄 요약

이 연구는 인지 반성 테스트(CRT)와 의미적 오류와 같은 심리학적 테스트를 사용하여 대규모 언어 모델(LLM)의 직관적 추론 편향을 조사한다. GPT-3는 인간과 유사한 직관적 실수를 보이며, GPT-4는 이러한 편향을 피하는 초합리적 행동을 보여, 모델 능력 향상에 따라 직관적 추론에서 분석적 추론으로의 전환을 시사한다.

ABSTRACT

Large language models (LLMs) are currently at the forefront of intertwining AI systems with human communication and everyday life. Therefore, it is of great importance to evaluate their emerging abilities. In this study, we show that LLMs, most notably GPT-3, exhibit behavior that strikingly resembles human-like intuition -- and the cognitive errors that come with it. However, LLMs with higher cognitive capabilities, in particular ChatGPT and GPT-4, learned to avoid succumbing to these errors and perform in a hyperrational manner. For our experiments, we probe LLMs with the Cognitive Reflection Test (CRT) as well as semantic illusions that were originally designed to investigate intuitive decision-making in humans. Moreover, we probe how sturdy the inclination for intuitive-like decision-making is. Our study demonstrates that investigating LLMs with methods from psychology has the potential to reveal otherwise unknown emergent traits.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 인간과 유사한 직관적 추론과 관련된 인지 편향을 보이는지 조사하는 것.
• 기존 심리학적 테스트를 활용하여 모델 능력이 직관적 실수에 대한 민감도에 어떤 영향을 미치는지 평가하는 것.
• GPT-3와 같은 이전 모델에서 관찰된 직관적 편향을 GPT-4와 같은 고도로 발전한 LLM이 극복하는지 탐색하는 것.
• 다양한 테스트 조건 하에서 LLM 내 직관적 의사결정 성향의 강건성 평가하는 것.
• 심리학적 테스트 방법이 LLM 내에서 나타나는 새로운 인지 특성들을 드러내는 데서의 가치를 입증하는 것.

제안 방법

• 연구는 인간의 직관적 사고와 분석적 사고를 측정하기 위해 잘 정립된 심리학적 도구인 인지 반성 테스트(CRT)를 사용한다.
• 의도적으로 오해를 유도하는 언어적 자극인 의미적 오류를 활용하여 LLM의 직관적 추론을 탐구하였으며, 인간의 인지 편향 실험과 유사하게 적용하였다.
• GPT-3, ChatGPT, GPT-4와 같은 LLM에 CRT 문제와 의미적 오류를 제시하여 반응 패턴을 평가하였다.
• 응답은 직관적(틀린) 답과 분석적(맞는) 답의 일치 여부를 분석하였으며, 특히 오류 비율에 중점을 두었다.
• 의사결정 편향의 강건성을 확보하기 위해 어휘 표현과 맥락적 단서를 다양화하여 조건 간 일관성 여부를 평가하였다.
• 모델 출력과 인간의 인지 행동 패tern을 비교하여 직관적 행동의 출현 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLM)은 인간에서 관찰된 것과 유사한 인간과 유사한 직관적 추론 편향을 보이는가?
• RQ2 특히 GPT-4의 모델 능력은 CRT와 같은 인지 편향에 대한 민감도에 어떤 영향을 미치는가?
• RQ3 의미적 오류는 LLM에서 얼마나 직관적 실수를 유도하는가? 인간의 반응과 비교해보면 어떠한가?
• RQ4 LLM 내의 직관적 편향은 다양한 어휘 표현과 맥락 조작에 대해 강건한가?
• RQ5 심리학적 테스트 방법은 기존에는 감지되지 않았던 LLM 내에서의 새로운 인지 특성을 드러낼 수 있는가?

주요 결과

• GPT-3는 인지 반성 테스트에서 높은 비율의 직관적 실수를 보였으며, 인간의 실수 패턴과 밀접하게 유사하였다.
• GPT-4는 직관적 실수를 크게 감소시켰으며, 항상 올바른 분석적 답을 선택하는 경향을 보였다.
• 연구 결과, 높은 모델 능력일수록 LLM 내에서 직관적 추론에서 초합리적 의사결정으로의 전환과 관련이 있음을 확인하였다.
• 의미적 오류는 GPT-3에서 예측 가능한 직관적 반응을 유도하였지만, GPT-4는 대부분 이러한 편향을 저지르지 않아 더 강한 분석적 추론 능력을 보였다.
• GPT-4에서는 직관적 성향의 강건성이 낮아, 어휘 프레임 효과에 덜 민감한 것으로 나타났다.
• 결과적으로 심리학적 테스트 방법은 LLM 내에서 나타나는 새로운 인지 특성을 효과적으로 드러낼 수 있으며, 특히 모델 발전에 따라 추론 방식의 변화를 파악하는 데 유용하다.