[论文解读] Translating Navigation Instructions in Natural Language to a High-Level Plan for Behavioral Robot Navigation

Xiaoxue Zang, Ashwini Pokle+5 more|arXiv (Cornell University)|Sep 24, 2018

Multimodal Machine Learning Applications参考文献 28被引用 5

一句话总结

本文提出一种端到端深度学习模型，利用注意力机制将自由形式的自然语言导航指令映射到高层级行为导航计划，实现与环境拓扑图的对齐。该模型在包含11,051对指令-计划的新数据集上优于基线模型，证明了拓扑图作为自然语言导航指令的语义知识库具有显著有效性。

ABSTRACT

We propose an end-to-end deep learning model for translating free-form natural language instructions to a high-level plan for behavioral robot navigation. We use attention models to connect information from both the user instructions and a topological representation of the environment. We evaluate our model's performance on a new dataset containing 10,050 pairs of navigation instructions. Our model significantly outperforms baseline approaches. Furthermore, our results suggest that it is possible to leverage the environment map as a relevant knowledge base to facilitate the translation of free-form navigational instruction.

研究动机与目标

• 使机器人能够在复杂环境中理解自由形式的自然语言导航指令。
• 解决人类路径描述中高度可变性和模糊性的问题。
• 开发一种端到端模型，利用环境的拓扑结构将自然语言映射为可执行的高层级导航计划。
• 评估模型在新指令和未见过环境中的泛化能力。
• 贡献一个包含11,051对指令-计划的新大规模数据集，用于行为机器人导航。

提出的方法

• 该模型采用编码器-解码器架构，并结合自注意力机制，将输入的自然语言指令与行为导航图进行对齐。
• 行为导航图表示为三元组集合⟨节点; 边; 节点⟩，其中节点为语义位置，边为视觉-运动行为。
• 解码器通过在每一步关注图中相关部分来生成导航行为序列，其过程受指令嵌入的引导。
• 模型通过交叉熵损失函数进行端到端训练，以预测正确的行为序列。
• 可视化注意力权重，分析模型在预测过程中对环境相关部分的关注方式。
• 通过Mechanical Turk在100个模拟环境及其对应拓扑图的基础上，收集了新的11,051对指令-计划数据集。

实验结果

研究问题

• RQ1 端到端神经模型能否有效利用拓扑图作为知识库，将自然语言导航指令转化为高层级行为计划？
• RQ2 该模型在已知环境中的新指令以及全新环境中的表现如何？
• RQ3 注意力机制在计划预测过程中在多大程度上帮助模型聚焦于相关环境片段？
• RQ4 该模型能否正确预测非最短路径，表明其并非仅通过记忆最短路径实现？
• RQ5 与不使用拓扑图的基线方法相比，所提模型表现如何？

主要发现

• 所提模型在新数据集上优于两阶段基线方法和无图注意力机制的序列到序列模型。
• 该模型在将自然语言指令转化为高层级导航计划方面达到最先进性能。
• 注意力可视化显示，模型能动态关注相关环境三元组，其注意力模式与导航步骤相对应。
• 模型成功预测了次优路径，证实其受指令语义引导，而非仅学习最短路径。
• 该模型在已知环境的新指令上泛化良好，并对自然语言表达的多样性表现出强鲁棒性。
• 本研究贡献的新数据集（含11,051对指令-计划）为数据驱动的导航语义对齐研究提供了支持。