[论文解读] Evaluating Spatial Understanding of Large Language Models

Yutaro Yamada, Yihan Bao+3 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用 6

一句话总结

本文通过在不同空间结构（如方形、六边形和三角形网格、环形结构及树状结构）上设计自然语言导航任务，评估了大型语言模型（LLMs）如 GPT-3.5-turbo、GPT-4 和 Llama2 的空间理解能力。研究发现，LLMs 会隐式学习空间表征，使用物体名称作为地标，并表现出受空间与非空间因素共同影响的错误，其性能在不同结构和输入格式间存在显著差异。

ABSTRACT

Large language models (LLMs) show remarkable capabilities across a variety of tasks. Despite the models only seeing text in training, several recent studies suggest that LLM representations implicitly capture aspects of the underlying grounded concepts. Here, we explore LLM representations of a particularly salient kind of grounded knowledge -- spatial relationships. We design natural-language navigation tasks and evaluate the ability of LLMs, in particular GPT-3.5-turbo, GPT-4, and Llama2 series models, to represent and reason about spatial structures. These tasks reveal substantial variability in LLM performance across different spatial structures, including square, hexagonal, and triangular grids, rings, and trees. In extensive error analysis, we find that LLMs' mistakes reflect both spatial and non-spatial factors. These findings suggest that LLMs appear to capture certain aspects of spatial structure implicitly, but room for improvement remains.

研究动机与目标

• 探究大型语言模型（LLMs）是否能从纯文本训练中隐式学习并推理空间结构。
• 评估 LLM 在不同拓扑结构（如网格、环形和树状结构）中对空间关系的表征与推理能力。
• 将 LLM 的表现与人类在相同空间推理任务中的表现进行比较。
• 研究物体名称在 LLM 空间地图构建中作为地标的作用。
• 进行详细的错误分析，以确定错误是由空间因素还是非空间因素引起。

提出的方法

• 设计自然语言导航任务，要求模型从位置之间的序列转换中推断空间关系。
• 通过全局地图或局部导航指令呈现空间结构，以评估输入格式的影响。
• 在每个位置使用 ImageNet-1k 中的物体名称作为感知信号，以模拟具身感知。
• 生成合成问题以测试回环检测与路径一致性，要求具备准确的空间记忆能力。
• 在不同空间拓扑结构上评估多个 LLM，包括 GPT-3.5-turbo、GPT-4 和 Llama2 变体。
• 应用思维链提示（chain-of-thought prompting）以评估其对空间推理表现的影响。

实验结果

研究问题

• RQ1 LLMs 是否能从纯文本输入中隐式学习并推理网格、环形和树状等空间结构？
• RQ2 在不同空间拓扑结构（如方形网格与六边形网格）之间，性能如何变化？
• RQ3 与局部导航指令相比，提前提供全局地图是否会提升或阻碍 LLM 的空间推理能力？
• RQ4 LLMs 是否像人类一样，使用物体名称作为地标来维持空间地图？
• RQ5 LLMs 会犯哪些类型的错误？这些错误是否反映空间或非空间因素？

主要发现

• LLMs 展现出隐式空间理解能力，能正确回答关于空间结构中回环检测与路径一致性的提问。
• 性能在不同空间拓扑结构间存在显著差异，其中方形网格比六边形、三角形、环形或树状结构更容易处理。
• 与局部导航指令相比，提前提供全局地图会降低性能，表明顺序性输入更有利于空间推理。
• LLMs 使用物体名称作为地标来构建空间地图，其策略与人类认知机制相似。
• 错误模式反映出空间邻近性，表明模型确实在推理空间结构，但错误也源于非空间因素。
• GPT-4 的表现优于 GPT-3.5-turbo，尤其在复杂结构上，表明其具有更深的隐式空间表征能力，尽管表现仍不完美。