[论文解读] From Spatial Relations to Spatial Configurations

Soham Dan, Parisa Kordjamshidi+5 more|arXiv (Cornell University)|Jul 19, 2020

Constraint Satisfaction and Optimization参考文献 21被引用 6

一句话总结

本文提出了一种空间构型表示语言，扩展了抽象意义表示（AMR），以捕捉自然语言中的复杂空间关系、焦点转移和动态构型。通过将细粒度的空间语义与AMR相结合，该框架能够实现更具表现力、组合性且具语境关联性的表示，适用于协作导航和构建等任务，显著提升了对先前空间表示方案的覆盖范围。

ABSTRACT

Spatial Reasoning from language is essential for natural language understanding. Supporting it requires a representation scheme that can capture spatial phenomena encountered in language as well as in images and videos. Existing spatial representations are not sufficient for describing spatial configurations used in complex tasks. This paper extends the capabilities of existing spatial representation languages and increases coverage of the semantic aspects that are needed to ground the spatial meaning of natural language text in the world. Our spatial relation language is able to represent a large, comprehensive set of spatial concepts crucial for reasoning and is designed to support the composition of static and dynamic spatial configurations. We integrate this language with the Abstract Meaning Representation(AMR) annotation schema and present a corpus annotated by this extended AMR. To exhibit the applicability of our representation scheme, we annotate text taken from diverse datasets and show how we extend the capabilities of existing spatial representation languages with the fine-grained decomposition of semantics and blend it seamlessly with AMRs of sentences and discourse representations as a whole.

研究动机与目标

• 解决现有空间表示方案在捕捉自然语言中复杂空间构型、焦点转移和嵌套关系方面的局限性。
• 开发一种通用、领域无关的空间表示，支持在真实世界环境中进行推理和具身化。
• 通过引入空间语义扩展AMR，构建统一、富有表现力的框架，用于表示句子和语篇中的空间意义。
• 实现从Minecraft和NLVR等多样化数据集自动解析和标注空间指令。
• 通过模块化、可解释的构型，支持对空间运动、地标和参考框架的组合建模。

提出的方法

• 提出一种空间构型模式，将空间关系和对象属性分解为通过共享标识符和角色连接的模块化组件。
• 通过从AMR图中提取空间关系和属性，并将其重组为结构化、人类可读的格式，将空间构型与AMR集成。
• 使用标识符、属性、参考框架、运动和路径描述符，定义空间实体和构型的关系表示。
• 设计一种形式化模式，支持每条路径存在多个参考框架，并区分内在关系与相对关系。
• 将该框架应用于Minecraft和NLVR语料库中的真实世界空间指令标注，证明其可扩展性和表现力。
• 训练一个自动解析器，将自然语言转换为扩展后的AMR格式，实现空间意义的端到端处理。

实验结果

研究问题

• RQ1 如何扩展空间表示以建模涉及嵌套关系和焦点转移的复杂空间构型？
• RQ2 在真实世界环境中，符号表示能否实现空间语义的模块化组合与具身化？
• RQ3 统一的空间构型模式能否与AMR集成，以提升自然语言中空间意义的覆盖范围和可解释性？
• RQ4 与SpRL和ISO-space等现有空间表示方案相比，所提出的框架在处理细粒度空间语义方面表现如何？
• RQ5 将空间构型与AMR集成，对意义表示的表达力和组合性推理能力有何影响？

主要发现

• 所提出的空间构型模式成功表示了复杂的空间关系，包括焦点转移和嵌套地标，例如在句子 '将红色方块放在黄色方块上，而该黄色方块位于蓝色柱子的左侧' 中。
• 该框架能够表示沿路径的运动并支持多个参考框架，例如 '将梅赛德斯方块移动到英伟达方块的右侧'，并显式追踪路径和视角。
• 空间构型与AMR的集成使得空间语义可作为完整句子表示的子图被提取，同时保留句法和语义结构。
• 该模式支持对空间属性的细粒度分解，如 '紧密接触' 或 '在……上方'，并能区分内在与相对参考框架。
• 与SpRL和ISO-space等先前方案相比，该方法在处理动态、多地标及视角变化的描述时，对复杂空间现象的覆盖范围更优。
• 对Minecraft和NLVR等多样化数据集的标注表明，该框架具有良好的泛化能力，适用于真实世界的空间推理任务。