[论文解读] Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4

Thilo Hagendorff, Sarah Fabi|arXiv (Cornell University)|Jun 13, 2023

Topic Modeling被引用 5

一句话总结

本研究通过认知反思测试（CRT）和语义错觉等心理学测试，调查了大型语言模型（LLMs）中的直觉推理偏差。研究发现，GPT-3表现出类似人类的直觉错误，而GPT-4则展现出超理性行为，避免了这些偏差，表明随着模型能力的提升，其推理方式从直觉型转向了分析型。

ABSTRACT

Large language models (LLMs) are currently at the forefront of intertwining AI systems with human communication and everyday life. Therefore, it is of great importance to evaluate their emerging abilities. In this study, we show that LLMs, most notably GPT-3, exhibit behavior that strikingly resembles human-like intuition -- and the cognitive errors that come with it. However, LLMs with higher cognitive capabilities, in particular ChatGPT and GPT-4, learned to avoid succumbing to these errors and perform in a hyperrational manner. For our experiments, we probe LLMs with the Cognitive Reflection Test (CRT) as well as semantic illusions that were originally designed to investigate intuitive decision-making in humans. Moreover, we probe how sturdy the inclination for intuitive-like decision-making is. Our study demonstrates that investigating LLMs with methods from psychology has the potential to reveal otherwise unknown emergent traits.

研究动机与目标

• 调查大型语言模型（LLMs）是否表现出类似人类的直觉推理及其相关的认知偏差。
• 利用既定的心理学测试，评估模型能力对其易受直觉错误影响程度的影响。
• 探讨像GPT-4这样的先进LLMs是否克服了早期模型（如GPT-3）中观察到的直觉偏差。
• 在不同测试条件下评估LLMs中直觉决策倾向的鲁棒性。
• 展示心理学测试方法在揭示LLMs中新兴认知特征方面的价值。

提出的方法

• 本研究采用认知反思测试（CRT），这是一种既定的心理学工具，旨在衡量人类的直觉思维与分析思维。
• 使用语义错觉——具有认知误导性的语言刺激——来探测LLMs中的直觉推理，类似于人类认知偏差实验。
• 对包括GPT-3、ChatGPT和GPT-4在内的LLMs进行提示，输入CRT问题和语义错觉，以评估其响应模式。
• 分析响应是否与直觉（错误）答案一致，或与分析（正确）答案一致，特别关注错误率。
• 通过改变措辞和语境线索，测试直觉倾向的鲁棒性，以评估偏差在不同条件下的稳定性。
• 通过将模型输出与已知的人类认知行为进行比较，评估直觉型行为的出现。

实验结果

研究问题

• RQ1 大型语言模型是否表现出与人类相似的直觉推理偏差？
• RQ2 模型能力，特别是GPT-4的能力，如何影响其对CRT等认知偏差的易感性？
• RQ3 语义错觉在多大程度上引发LLMs的直觉错误？这些错误与人类响应相比如何？
• RQ4 LLMs中的直觉偏差在不同措辞和语境操控下是否具有鲁棒性？
• RQ5 心理学测试方法能否揭示LLMs中原本难以察觉的新兴认知特征？

主要发现

• GPT-3在认知反思测试中表现出较高的直觉错误率，其错误模式与人类高度相似。
• GPT-4显著减少了直觉错误，始终选择正确分析答案，而非直觉但错误的回应。
• 研究发现，更高的模型能力与LLMs从直觉推理向超理性决策的转变相关。
• 语义错觉在GPT-3中引发了可预测的直觉反应，但GPT-4大多抵抗了这些偏差，表明其分析推理能力更强。
• GPT-4的直觉倾向鲁棒性较低，表明其推理更不易受语言框架效应的影响。
• 结果表明，心理学测试方法能够有效揭示LLMs中新兴的认知特征，特别是随着模型进步而发生的推理风格转变。