[논문 리뷰] Thinking Fast and Slow in Large Language Models

Thilo Hagendorff, Sarah Fabi외 1명|PubMed|2022. 12. 10.

Topic Modeling참고 문헌 6인용 수 38

한 줄 요약

본 논문은 LLM이 낮은 능력에서 인간과 유사한 직관적 오류를 보이지만, 더 높은 능력(ChatGPT, GPT-4)에서 이 오류를 피하고 초합리적(hyperrational)으로 변한다는 것을, 인지 심리학 과제인 Cognitive Reflection Test와 의미론적 착시를 통한 검사를 통해 밝힌다.

ABSTRACT

We design a battery of semantic illusions and cognitive reflection tests, aimed to elicit intuitive yet erroneous responses. We administer these tasks, traditionally used to study reasoning and decision-making in humans, to OpenAI's generative pre-trained transformer model family. The results show that as the models expand in size and linguistic proficiency they increasingly display human-like intuitive system 1 thinking and associated cognitive errors. This pattern shifts notably with the introduction of ChatGPT models, which tend to respond correctly, avoiding the traps embedded in the tasks. Both ChatGPT-3.5 and 4 utilize the input-output context window to engage in chain-of-thought reasoning, reminiscent of how people use notepads to support their system 2 thinking. Yet, they remain accurate even when prevented from engaging in chain-of-thought reasoning, indicating that their system-1-like next-word generation processes are more accurate than those of older models. Our findings highlight the value of applying psychological methodologies to study large language models, as this can uncover previously undetected emergent characteristics.

연구 동기 및 목표

• LLM에서 도출되는 신생 특성을 밝히기 위한 심리학에 영감을 받은 평가의 사용을 촉진한다.
• 인지 심리학 과제를 통해 LLM이 인간과 유사한 직관적 오류를 보이는지 평가한다.
• 지능적 능력이 증가하는 LLM 간의 성능을 비교한다(예: GPT-3 vs. ChatGPT/GPT-4).
• 고능력 모델이 인지 편향을 되풀이하기보다 피하는지 여부를 탐구한다.

제안 방법

• Cognitive Reflection Test (CRT)로 LLM을 조사한다.
• 사람의 직관적 의사결정을 연구하도록 설계된 의미론적 착시로 LLM을 조사한다.
• 다양한 LLM 간의 성능을 비교하여 emergent traits를 식별한다.
• 인간의 인지 편향과 합리성의 맥락에서 결과를 해석한다.
• LLM에 맞게 조정된 심리학적 검사 패러다임에 근거하여 연구 결과를 제시한다.

실험 결과

연구 질문

• RQ1 CRT 유사 과제에 응답할 때 LLM이 인간과 유사한 직관적 오류를 보이는가?
• RQ2 더 높은 능력을 가진 LLM(ChatGPT, GPT-4)이 이전 모델(GPT-3 등)보다 인지 편향을 더 효과적으로 피하는가?
• RQ3 심리학적 검사로 LLM에 대해 어떤 emergent traits를 밝힐 수 있는가?
• RQ4 의미론적 착시가 모델 세대 간 LLM의 의사결정에 어떤 영향을 미치는가?

주요 결과

• GPT-3 수준의 모델은 CRT 및 의미론적 착시 과제에서 인간의 직관적 오류를 닮은 행동을 보인다.
• ChatGPT 및 GPT-4와 같은 더 높은 능력의 모델은 이러한 오류를 피하고 초합리적 방식으로 작동하는 경향이 있다.