[论文解读] Does Conceptual Representation Require Embodiment? Insights From Large Language Models

Qihui Xu, Yingying Peng+4 more|arXiv (Cornell University)|May 30, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本研究通过比较人类与大型语言模型（GPT-3.5 和 GPT-4）在 4,442 个词汇概念上对五个维度（情绪、显著性、心理可视化、感官和运动体验）的评分，探究了仅靠语言是否足以支持丰富的概念表征。研究发现，尽管 LLM 在非感官运动领域与人类高度一致，但在感官和运动领域，其表现随着多模态训练（尤其是 GPT-4 的视觉输入）显著提升，表明具身经验可超越语言本身，增强概念表征。

ABSTRACT

To what extent can language alone give rise to complex concepts, or is embodied experience essential? Recent advancements in large language models (LLMs) offer fresh perspectives on this question. Although LLMs are trained on restricted modalities, they exhibit human-like performance in diverse psychological tasks. Our study compared representations of 4,442 lexical concepts between humans and ChatGPTs (GPT-3.5 and GPT-4) across multiple dimensions, including five key domains: emotion, salience, mental visualization, sensory, and motor experience. We identify two main findings: 1) Both models strongly align with human representations in non-sensorimotor domains but lag in sensory and motor areas, with GPT-4 outperforming GPT-3.5; 2) GPT-4's gains are associated with its additional visual learning, which also appears to benefit related dimensions like haptics and imageability. These results highlight the limitations of language in isolation, and that the integration of diverse modalities of inputs leads to a more human-like conceptual representation.

研究动机与目标

• 探究仅靠语言是否足以形成类人概念表征，还是具身的感官与运动经验必不可少。
• 评估大型语言模型（LLMs）如 GPT-3.5 和 GPT-4 在多个心理语言学维度上模拟人类概念表征的程度。
• 评估多模态训练（如 GPT-4 的视觉输入）对 LLM 生成的概念表征质量与类人程度的影响。
• 通过使用大规模、多维的 4,442 个词汇数据集，弥补以往基于人类研究的局限，如词汇池过小和概念覆盖范围狭窄。
• 通过将 LLM 的响应与人类评分在情绪、显著性、心理可视化、感官和运动体验等领域的对比，验证 LLM 作为认知模型的有效性。

提出的方法

• 收集了 4,442 个常见词汇概念在五个心理语言学维度（情绪、显著性、心理可视化、感官和运动体验）上来自格拉斯哥和兰卡斯特规范的人类评分。
• 调整提示以诱发 LLM 的响应，使其表现如同代表人类体验一般，将 'you' 替换为 'human beings'，以避免模型自我指涉，同时保持语义一致性。
• 使用文本描述的视觉刺激（如身体部位）确保 GPT-3.5 和 GPT-4 能够处理与人类参与者相同的输入，补偿 GPT-3.5 缺乏视觉输入的不足。
• 计算人类-人类、人类-LLM（GPT-3.5 和 GPT-4）以及 LLM-LLM 对之间的斯皮尔曼等级相关系数，以评估各维度上的对齐程度。
• 通过聚合多个参与者对与模型运行结果的相关性分布，确保结果稳健性，采用重叠词汇评分数 ≥50 作为可靠比较的阈值。
• 分析 GPT-3.5 与 GPT-4 在对齐性上的差异，特别是感官和运动领域，以评估视觉训练对概念表征的影响。

实验结果

研究问题

• RQ1 语言 alone 在多大程度上能够支持大型语言模型形成类人概念表征？
• RQ2 与仅基于文本的模型（如 GPT-3.5）相比，多模态训练（如 GPT-4 的视觉输入）如何影响概念表征的质量？
• RQ3 在情绪、显著性、心理可视化、感官或运动体验这些心理语言学维度中，LLM 与人类表征最接近的是哪一个？
• RQ4 GPT-4 中视觉输入的整合是否不仅提升了视觉相关表现，也改善了触觉和可象性等相关领域？
• RQ5 当与人类心理语言学规范进行验证时，LLM 是否可作为研究概念表征的有效认知模型？

主要发现

• GPT-4 与人类概念表征的对齐程度显著优于 GPT-3.5，尤其在感官和运动体验领域。
• GPT-3.5 和 GPT-4 在非感官运动领域（如情绪和显著性）均与人类表现出强烈对齐，表明仅靠语言即可支持抽象与情感性概念知识。
• GPT-3.5 与 GPT-4 在感官和运动维度上的表现差距，直接归因于 GPT-4 的额外视觉训练，这增强了其模拟具身经验的能力。
• GPT-4 的视觉学习还提升了触觉和可象性等相关维度的表现，表明多模态输入有助于形成更全面、类人的概念表征。
• 本研究证实，仅靠语言不足以实现丰富的感官与运动概念化，支持具身经验对完整概念理解的塑造作用。
• 尽管经过语言训练，GPT-3.5 和 GPT-4 等 LLM 仍表现出可测量的与人类评分对齐，表明在经过精心提示和验证后，可作为认知模型有效使用。