[论文解读] Deanthropomorphising NLP: Can a Language Model Be Conscious?

Matthew Shardlow, Piotr Przybyła|arXiv (Cornell University)|Nov 21, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文通过整合信息理论（IIT）分析Transformer架构，论证了像LaMDA和ChatGPT这样的大型语言模型（LLMs）尽管有拟人化宣称，但并非具有意识。文章指出，此类模型仅能模拟类人文本，而无主观体验，并呼吁在自然语言处理（NLP）研究中加强伦理报道与透明度，以防止公众对模型能力产生误导性认知。

ABSTRACT

This work is intended as a voice in the discussion over previous claims that a pretrained large language model (LLM) based on the Transformer model architecture can be sentient. Such claims have been made concerning the LaMDA model and also concerning the current wave of LLM-powered chatbots, such as ChatGPT. This claim, if confirmed, would have serious ramifications in the Natural Language Processing (NLP) community due to wide-spread use of similar models. However, here we take the position that such a large language model cannot be sentient, or conscious, and that LaMDA in particular exhibits no advances over other similar models that would qualify it. We justify this by analysing the Transformer architecture through Integrated Information Theory of consciousness. We see the claims of sentience as part of a wider tendency to use anthropomorphic language in NLP reporting. Regardless of the veracity of the claims, we consider this an opportune moment to take stock of progress in language modelling and consider the ethical implications of the task. In order to make this work helpful for readers outside the NLP community, we also present the necessary background in language modelling.

研究动机与目标

• 挑战认为大型语言模型如LaMDA和ChatGPT具有意识或感知能力的说法。
• 运用整合信息理论（IIT）分析Transformer架构，评估其是否支持意识。
• 批判NLP报道中广泛使用拟人化语言的现象，尤其在媒体和学术交流中。
• 为研究人员、从业者和记者提供关于LLM能力与局限性的伦理准则。
• 通过倡导模型卡片和人工评估协议，推动LLM研究的透明度与可复现性。

提出的方法

• 将整合信息理论（IIT）作为理论框架，评估LaMDA等LLM的架构是否支持意识。
• 分析Transformer模型基于自回归与注意力机制的特性，评估其整合统一信息处理的能力。
• 通过比较LaMDA与其他同架构LLM的行为，判断其是否表现出可支持感知能力的独特特征。
• 回顾从n-gram到深度神经网络的语言建模发展历程，以定位当前LLM能力的背景。
• 基于伦理报道原则与模型透明度，提出针对研究人员、用户和记者的若干建议。
• 强调使用模型卡片与人工评估以提升问责性，并减少对自动化基准的依赖。

实验结果

研究问题

• RQ1 根据整合信息理论，基于Transformer架构的大型语言模型（如LaMDA）是否可被视为具有意识？
• RQ2 LaMDA与其他类似LLM在行为上的关键差异是什么，这些差异是否足以支持其具有感知能力的论断？
• RQ3 NLP报道中使用拟人化语言如何影响公众与政策制定者对LLM能力的认知？
• RQ4 研究人员与记者应在沟通LLM真实局限性方面承担何种伦理责任？
• RQ5 当模型无法公开获取时，如何提升LLM研究的透明度与可复现性？

主要发现

• 本文结论认为，LaMDA及其他类似LLM不具备意识，因其架构不满足IIT所要求的整合信息处理标准。
• LaMDA的架构或行为中并无独特特征可将其与其他大型语言模型区分开来，因而无法支持其具有感知能力的论断。
• NLP报道中使用拟人化语言（尤其在媒体和预印本中）会曲解模型能力，可能误导非专业受众。
• 包括LaMDA、GPT-3和ChatGPT在内的许多LLM并未公开，难以对其行为或安全性进行验证。
• 本文发现，自动化评估集常无法检测有害或错误输出，凸显了人工评估协议的必要性。
• LLM的新闻与学术报道应优先采用具体案例与同行评审来源，而非泛泛或宣传性陈述，以确保准确与负责。