[论文解读] Large Language Models and Cognitive Science: A Comprehensive Review of Similarities, Differences, and Challenges

Qian Niu, Junyu Liu+17 more|arXiv (Cornell University)|Sep 4, 2024

Topic Modeling被引用 10

一句话总结

本文综述大型语言模型（LLMs）如何与人类认知保持一致以及出现偏离，回顾评估方法，探讨其作为认知模型的应用，并讨论与认知架构的整合以及未来挑战。

ABSTRACT

This comprehensive review explores the intersection of Large Language Models (LLMs) and cognitive science, examining similarities and differences between LLMs and human cognitive processes. We analyze methods for evaluating LLMs cognitive abilities and discuss their potential as cognitive models. The review covers applications of LLMs in various cognitive fields, highlighting insights gained for cognitive science research. We assess cognitive biases and limitations of LLMs, along with proposed methods for improving their performance. The integration of LLMs with cognitive architectures is examined, revealing promising avenues for enhancing artificial intelligence (AI) capabilities. Key challenges and future research directions are identified, emphasizing the need for continued refinement of LLMs to better align with human cognition. This review provides a balanced perspective on the current state and future potential of LLMs in advancing our understanding of both artificial and human intelligence.

研究动机与目标

• 在认知科学领域推动将LLMs作为理解人类认知工具的研究。
• 在语言、感知和推理等方面比较和对比LLMs与人类认知过程。
• 综述评估LLM认知能力的方法和基准。
• 研究LLMs作为认知模型及其在认知科学各领域的应用。
• 识别偏见、局限性以及与认知架构的整合策略，以指导未来研究。

提出的方法

• 在多领域（语言、感知、推理）中比较LLM能力与人类认知。
• 回顾受认知科学启发的评估方法（如认知基准、神经影像比较）。
• 通过微调和实验行为对齐来讨论将LLMs用作认知模型。
• 考察LLMs与认知架构的整合方法（模块化、代理性、神经符号）。
• 调查在因果推理、词汇语义学和创造性写作等领域的特定应用。

实验结果

研究问题

• RQ1 LLMs与人类认知过程存在哪些相似性和差异？
• RQ2 如何使用受认知科学启发的方法评估LLM的认知能力？
• RQ3 对人类行为的准确认知模型而言，微调后的LLMs在多大程度上可发挥作用？
• RQ4 LLMs的认知偏见和局限性有哪些，如何减轻？
• RQ5 如何将LLMs与认知架构有效整合以提升AI系统？

主要发现

• LLMs在语言处理方面表现出类似人类的能力，以及在推理中的心理引导效应和内容效应等一些认知效应。
• 在人类在新颖或分布外推理以及功能性语言能力方面通常优于LLMs。
• 通过对心理学实验数据进行微调，LLMs可以成为精确的认知模型，有时在决策任务中甚至优于传统模型。
• LLMs表现出与人类推理类似的认知偏见，需要缓解并谨慎解读。
• 各种整合方法（模块化、代理性、神经符号）可以发挥LLMs与认知架构的优势，从而提升AI系统。
• 包括CogBench、神经影像比较以及改编的认知测试在内的评估方法为LLM认知提供了多方面的视角。