[论文解读] Meaning without reference in large language models

Steven T. Piantadosi, Felix Hill|arXiv (Cornell University)|Aug 5, 2022

Topic Modeling被引用 71

一句话总结

论文认为LLMs通过表征的内部关系可以获得有意义的概念角色，即使没有显式与参照的接地，并概述这如何与概念角色理论的意义相一致。

ABSTRACT

The widespread success of large language models (LLMs) has been met with skepticism that they possess anything like human concepts or meanings. Contrary to claims that LLMs possess no meaning whatsoever, we argue that they likely capture important aspects of meaning, and moreover work in a way that approximates a compelling account of human cognition in which meaning arises from conceptual role. Because conceptual role is defined by the relationships between internal representational states, meaning cannot be determined from a model's architecture, training data, or objective function, but only by examination of how its internal states relate to each other. This approach may clarify why and how LLMs are so successful and suggest how they can be made more human-like.

研究动机与目标

• 论证LLMs中的意义可以来自概念角色，而不仅仅是参照。
• 将概念角色理论定位为理解LLM语义的框架。
• 总结证据表明LLMs的内部表征与人类般的意义与认知相关。

提出的方法

• 讨论关于意义的哲学与认知理论（概念角色）与参照。
• 回顾把LLM表征几何与人类数据及接地联系起来的实证证据。
• 论证LLMs的内部状态关系编码的有意义结构类似于人类概念。
• 提出改进LLMs包括丰富内部概念角色和关系结构。

实验结果

研究问题

• RQ1 如果它们的内部状态编码关系结构而非有根基的参照，LLMs是否具备有意义的概念？
• RQ2 在多大程度上LLMs的内部表征反映人类语义关系与概念角色？
• RQ3 通过预测文本的训练是否有助于通过关系几何与嵌入发现概念角色？
• RQ4 接地、多模态输入或目标导向的规划如何影响LLM意义的丰富性？

主要发现

• LLMs显示出与人类语义结构相一致的关系几何与嵌入。
• LLM内部状态关系支持涌现语义和概念的连贯使用。
• 实证证据表明在大规模文本数据集上训练的模型捕捉到概念角色的某些方面。
• 接地与多模态输入提高与人类判断的一致性，但并非意义的严格必要条件。
• 有部分实证支持基于文本的训练可以揭示类似于人类概念的概念角色。