[论文解读] Learning Models for Following Natural Language Directions in Unknown Environments

Sachithra Hemachandra, Felix Duvallet+4 more|arXiv (Cornell University)|Mar 17, 2015

Multimodal Machine Learning Applications参考文献 18被引用 16

一句话总结

本文提出了一种新颖的框架，使机器人能够通过从语言输入中学习空间和语义世界模型的概率分布，在未知环境中遵循自然语言导航指令。该系统采用通过模仿学习训练的信念空间规划器，推断地标（例如“走廊尽头的厨房”）的可能位置，并在无需预先绘制地图的情况下高效导航，在真实办公环境和模拟办公环境中实现的性能接近已知地图基线。

ABSTRACT

Natural language offers an intuitive and flexible means for humans to communicate with the robots that we will increasingly work alongside in our homes and workplaces. Recent advancements have given rise to robots that are able to interpret natural language manipulation and navigation commands, but these methods require a prior map of the robot's environment. In this paper, we propose a novel learning framework that enables robots to successfully follow natural language route directions without any previous knowledge of the environment. The algorithm utilizes spatial and semantic information that the human conveys through the command to learn a distribution over the metric and semantic properties of spatially extended environments. Our method uses this distribution in place of the latent world model and interprets the natural language instruction as a distribution over the intended behavior. A novel belief space planner reasons directly over the map and behavior distributions to solve for a policy using imitation learning. We evaluate our framework on a voice-commandable wheelchair. The results demonstrate that by learning and performing inference over a latent environment model, the algorithm is able to successfully follow natural language route directions within novel, extended environments.

研究动机与目标

• 使机器人能够在无先前地图或环境知识的环境中遵循自然语言路线指令。
• 解决在关键地标未被观察到时，对自由形式语言指令中空间和语义关系进行解释的挑战。
• 开发一种从语言中学习可能世界模型和行为分布的系统，实现在复杂未知空间中的高效导航。
• 改进先前需要预先绘制环境的方法，或在无法推理未观测空间关系时表现不佳的方法。

提出的方法

• 分层的贝叶斯网络模型学习将自然语言指令映射为空间和语义标注（例如“厨房”、“走廊尽头”）。
• 一种基于估计理论的算法将语言推导出的标注与传感器数据融合，构建对假设世界模型的概率分布，将语言视为类似于传感器输入的观测。
• 通过模仿人类示范训练信念空间策略，基于可能地图的分布推理以选择最优导航动作。
• 系统随时间逐步完善其语义地图，随着新传感器数据的到来更新信念，并将其与语言空间关系对齐。
• 规划器采用信念空间公式，对环境模型和预期行为中的不确定性进行推理，从而实现稳健的策略执行。
• 该框架支持带空间关系的多步指令（例如“在饮水机之后”），并在执行过程中动态更新其地图假设。

实验结果

研究问题

• RQ1 机器人是否能够在无先前地图知识的未知环境中遵循自然语言导航指令？
• RQ2 如何利用语言中的空间和语义信息推断可能世界模型的概率分布？
• RQ3 与确定性或无地图方法相比，对可能环境分布的推理在多大程度上提升了导航性能？
• RQ4 基于人类示范训练的信念空间策略是否能够泛化到包含模糊或部分语言线索的未见过的复杂环境中？
• RQ5 语言与传感器数据的融合在真实世界导航任务中的路径效率和准确性方面产生了何种影响？

主要发现

• 所提出的框架在物理实验和模拟实验中，路径长度均控制在已知地图基线的10%以内，表明即使在无先前地图知识的情况下，导航效率依然很高。
• 该方法显著优于语言无关基线，真实世界实验中平均路径长度减少50%，执行时间减少40%。
• 与非信念空间变体相比，信念空间推理使平均终点距离误差降低30%，该结果在27个保留方向的交叉验证中得到验证。
• 在10次模拟运行中，平均路径长度为5.54米（已知地图情况为2.86米），执行时间平均为12.93秒，表明在不确定性条件下表现强劲。
• 系统成功完成了全部6次真实世界实验和10次模拟运行，所有试验均正确抵达目标位置。
• Tukey箱线图分析证实，信念空间推理在200次交叉验证试验中始终提升了定位精度，降低了误差方差并增强了鲁棒性。