[论文解读] Mind meets machine: Unravelling GPT-4's cognitive psychology

Sifatkaur, Manmeet Mahinderjit Singh+3 more|arXiv (Cornell University)|Mar 20, 2023

Topic Modeling被引用 5

一句话总结

本研究通过四个基准数据集——CommonsenseQA、MATH、SuperGLUE 和 HANS——评估了 GPT-4 的认知心理学能力，表明 GPT-4 在 CommonsenseQA 上达到 83.2% 的准确率，在 SuperGLUE 上达到 91.2%，在 prealgebra 任务上达到 84%，在 HANS 上达到 100%，显示出与人类认知相似的高级推理与上下文整合能力。

ABSTRACT

Cognitive psychology delves on understanding perception, attention, memory, language, problem-solving, decision-making, and reasoning. Large language models (LLMs) are emerging as potent tools increasingly capable of performing human-level tasks. The recent development in the form of GPT-4 and its demonstrated success in tasks complex to humans exam and complex problems has led to an increased confidence in the LLMs to become perfect instruments of intelligence. Although GPT-4 report has shown performance on some cognitive psychology tasks, a comprehensive assessment of GPT-4, via the existing well-established datasets is required. In this study, we focus on the evaluation of GPT-4's performance on a set of cognitive psychology datasets such as CommonsenseQA, SuperGLUE, MATH and HANS. In doing so, we understand how GPT-4 processes and integrates cognitive psychology with contextual information, providing insight into the underlying cognitive processes that enable its ability to generate the responses. We show that GPT-4 exhibits a high level of accuracy in cognitive psychology tasks relative to the prior state-of-the-art models. Our results strengthen the already available assessments and confidence on GPT-4's cognitive psychology abilities. It has significant potential to revolutionize the field of AI, by enabling machines to bridge the gap between human and machine reasoning.

研究动机与目标

• 通过超越基础基准的既定标准化数据集，全面评估 GPT-4 的认知心理学能力。
• 评估 GPT-4 在如常识推理、数学问题解决和自然语言蕴含等复杂认知任务中，对上下文信息与推理的整合能力。
• 确定 GPT-4 是否在需要深度推理与启发式规避的认知推理任务中超越先前的 SOTA 模型。
• 探究 GPT-4 是否依赖表面启发式策略，还是在 HANS 等测试此类偏见的数据集中展现出稳健的人类式推理。
• 通过与人类基准对比验证其认知表现，确立 GPT-4 作为心理研究与临床应用的可行工具。

提出的方法

• 通过 ChatGPT-Plus API 访问 GPT-4，评估其在四个认知心理学数据集（CommonsenseQA、MATH、SuperGLUE 和 HANS）上的表现。
• 对 MATH 和 CommonsenseQA 使用精确匹配和标准评估指标，对 SuperGLUE 和 HANS 使用标准自然语言蕴含（NLI）评估协议。
• 采用旨在激发推理与响应生成的提示，确保与原始数据集格式和评估标准一致。
• 将 GPT-4 的表现与基线模型（如 BERT、GPT-2/GPT-3）以及原始研究中报告的人类表现进行对比。
• 对混合 HANS 数据持续进行实验，以评估其 100% 的准确率是否源于对测试集中非蕴含模式的记忆。
• 分析模型输出，寻找启发式推理的证据，特别是在 HANS 中，以评估其表现是源于稳健推理还是表面模式匹配。

Figure 1: Datasets used in the study with the different categories contained in them.

实验结果

研究问题

• RQ1 GPT-4 在常识推理和数学问题解决等认知推理任务中，相较于先前的语言模型，其表现超出多少？
• RQ2 GPT-4 在 SuperGLUE 和 HANS 上是否展现出稳健的推理能力，还是依赖于词汇或句法启发式，从而可能影响泛化能力？
• RQ3 在 MATH 和 CommonsenseQA 上，GPT-4 的表现与人类基准及先前模型相比，在准确率和推理深度方面如何？
• RQ4 鉴于其能够模拟人类认知过程，GPT-4 是否可被视为心理研究的可靠工具？
• RQ5 GPT-4 在 HANS 上的表现为理解其对自然语言蕴含中浅层启发式的敏感性或规避能力提供了哪些见解？

主要发现

• GPT-4 在 CommonsenseQA 上达到 83.2% 的准确率，显著优于基线语言模型（55.9%），并接近人类水平表现（89%）。
• 在 SuperGLUE 基准上，GPT-4 达到 91.2% 的准确率，表明其在复杂自然语言理解与推理任务中表现强劲。
• 在 MATH 数据集中，GPT-4 在代数问题上达到 84% 的准确率，远超 GPT-2 和 GPT-3 在类似任务上低于 10% 的表现。
• GPT-4 在 HANS 数据集上取得完美的 100% 准确率，但这一结果可能源于模型对测试集中非蕴含模式的潜在记忆。
• 在 MATH 数据集的几何问题上，GPT-4 得分为 35%，表明尽管在其他领域表现优异，其在空间与几何推理方面仍面临挑战。
• 本研究证实，GPT-4 在认知心理学基准测试中超越了先前的 SOTA 模型，表明其具备高级的上下文与推理机制整合能力。

Figure 2: Examples of sample prompts and the respective responses of GPT4 on CommonsenseQA, MATH and SuperGLUE datasets