[论文解读] Language Models as Critical Thinking Tools: A Case Study of Philosophers

Andre Ye, Jared Moore+2 more|arXiv (Cornell University)|Apr 6, 2024

Education and Critical Thinking Development被引用 4

一句话总结

本文通过与21位专业哲学家的访谈，探究语言模型（LMs）作为批判性思维工具的潜力，揭示当前语言模型缺乏自我意识与主动性——这两项特质是深度反思性思维的关键。作者提出自我意识-主动性模型，并定义三种角色（对话者、监控者、回应者），以指导未来语言模型在哲学及更广泛批判性探究领域的开发。

ABSTRACT

Current work in language models (LMs) helps us speed up or even skip thinking by accelerating and automating cognitive work. But can LMs help us with critical thinking -- thinking in deeper, more reflective ways which challenge assumptions, clarify ideas, and engineer new concepts? We treat philosophy as a case study in critical thinking, and interview 21 professional philosophers about how they engage in critical thinking and on their experiences with LMs. We find that philosophers do not find LMs to be useful because they lack a sense of selfhood (memory, beliefs, consistency) and initiative (curiosity, proactivity). We propose the selfhood-initiative model for critical thinking tools to characterize this gap. Using the model, we formulate three roles LMs could play as critical thinking tools: the Interlocutor, the Monitor, and the Respondent. We hope that our work inspires LM researchers to further develop LMs as critical thinking tools and philosophers and other 'critical thinkers' to imagine intellectually substantive uses of LMs.

研究动机与目标

• 探究语言模型（LMs）是否可作为深度、反思性批判性思维的工具，以哲学家为案例研究。
• 理解当前语言模型在支持批判性思维方面，特别是在自我意识与主动性方面的局限。
• 识别语言模型如何被重新设计，以支持哲学及相关领域中的复杂智力探究。
• 提出一个概念性框架——自我意识-主动性模型——以评估和指导批判性思维工具的发展。
• 探讨将语言模型整合进哲学及智力工作流程中的伦理与实际影响。

提出的方法

• 对21位专业哲学家进行半结构化访谈，以探讨其批判性思维实践及对语言模型的使用经验。
• 分析访谈数据，识别出关于当前语言模型在自我意识（记忆、信念、一致性）和主动性（好奇心、主动性）方面感知缺失的重复主题。
• 提出自我意识-主动性模型作为概念性框架，解释为何人类对话者与文本资源在批判性思维中比当前语言模型更有效。
• 定义未来语言模型在批判性思维中可能承担的三种角色：对话者（参与反思性对话）、监控者（评估推理中的缺陷）、回应者（提供有针对性且概念丰富的回应）。
• 借助哲学与认知科学文献，将该模型建立在反思、判断与智力参与的理论基础之上。
• 探讨对语言模型设计、界面开发以及诸如作者身份与学术诚信等伦理问题的影响。

Figure 1: Left – The selfhood-initiative model for critical thinking tools. Right – Illustrative sample interactions between humans and LMs playing different roles. Other alternatives are possible. The excerpt from “The Monitor” is taken from Singer ( 1972 ) .

实验结果

研究问题

• RQ1 为何专业哲学家尽管认可语言模型在想法生成与表达方面的实用性，仍认为其在批判性思维中无效？
• RQ2 当前语言模型缺失哪些核心认知与经验特质，导致其无法支持深度、反思性思维？
• RQ3 语言模型应如何被重新构想，以支持批判性思维，使其在形式上更接近人类哲学对话与探究？
• RQ4 未来语言模型在哲学推理中可能扮演哪些角色，这些角色与现有应用有何不同？
• RQ5 当语言模型作为智力学科中的批判性思维伙伴被整合时，会引发哪些伦理与设计挑战？

主要发现

• 哲学家报告称，当前语言模型缺乏自我意识，具体表现为缺乏记忆、一致信念与身份感，使其在批判性对话中显得疏离且不可靠。
• 哲学家还发现语言模型缺乏主动性，描述其为被动、缺乏好奇心且不具主动性，这削弱了其挑战假设或深入探索思想的能力。
• 自我意识-主动性模型被提出，以解释为何人类对话者与哲学文本在批判性思维中比当前语言模型更有效。
• 访谈显示，哲学家重视人际对话中的情感与智力参与，包括共享的主观性以及智力挣扎的乐趣。
• 哲学家担忧语言模型可能干扰通过语言进行思维的过程，尤其是在思想难以表达或思维与表达不匹配时。
• 尽管存在局限，哲学家仍承认，若经重新设计以支持批判性思维，语言模型仍可发挥重要价值，特别是作为对话者、监控者或回应者。