[论文解读] Learning to Map Natural Language Instructions to Physical Quadcopter Control using Simulated Flight

Valts Blukis, Yannick Terme+3 more|arXiv (Cornell University)|Oct 21, 2019

Multimodal Machine Learning Applications参考文献 43被引用 26

一句话总结

本文提出了一种联合仿真与真实世界学习框架 SuReAL，将自然语言指令和第一人称视觉观测映射为连续的四旋翼飞行器控制指令。通过结合监督学习进行访问概率预测与强化学习进行控制，该模型使物理四旋翼飞行器能够有效探索并鲁棒地执行复杂、长篇幅的自然语言导航指令，且在训练过程中无需自主飞行，成功实现了指令执行。

ABSTRACT

We propose a joint simulation and real-world learning framework for mapping navigation instructions and raw first-person observations to continuous control. Our model estimates the need for environment exploration, predicts the likelihood of visiting environment positions during execution, and controls the agent to both explore and visit high-likelihood positions. We introduce Supervised Reinforcement Asynchronous Learning (SuReAL). Learning uses both simulation and real environments without requiring autonomous flight in the physical environment during training, and combines supervised learning for predicting positions to visit and reinforcement learning for continuous control. We evaluate our approach on a natural language instruction-following task with a physical quadcopter, and demonstrate effective execution and exploration behavior.

研究动机与目标

• 解决在真实世界环境中将自然语言导航指令映射为物理四旋翼飞行器连续控制的挑战。
• 减少在训练过程中对昂贵且耗时的真实世界自主飞行数据采集的依赖。
• 通过显式建模智能体对未观测目标位置的信念，提升对部分可观测性和不确定性的鲁棒性。
• 通过统一的神经网络模型联合推理语言、视觉与控制，实现有效的探索与目标导向行为。
• 首次实现将原始第一人称图像与位姿估计映射为连续控制指令的物理四旋翼飞行器系统，用于自然语言指令跟随。

提出的方法

• 该模型采用两阶段架构：首先预测指令执行过程中各位置的访问概率，随后生成连续控制指令（速度与偏航率）。
• 监督式强化异步学习（SuReAL）通过监督学习训练访问概率预测头，通过强化学习训练控制策略，采用异步参数更新。
• 模型引入内在奖励信号，鼓励对目标可观测性的信念，并在目标未被观测时惩罚过早完成任务。
• 使用语义地图与特征图编码视觉与空间信息，同时通过信念表示追踪目标存在的可能性。
• 系统利用仿真环境实现数据高效的训练，并借助基于 Vicon 的真实世界姿态估计系统实现物理部署。
• 强化学习采用近端策略优化（PPO）算法，辅以感知、定位与语言理解的辅助损失，以稳定训练过程。

实验结果

研究问题

• RQ1 统一的深度学习模型能否在真实世界环境中，有效将原始自然语言指令与第一人称视觉观测映射为连续四旋翼飞行器控制？
• RQ2 在复杂的真实世界机器人控制任务中，如何高效利用有限的人工标注语言数据？
• RQ3 在训练过程中无需自主飞行的情况下，仿真环境在多大程度上可用于训练可泛化至真实物理飞行的策略？
• RQ4 如何通过显式信念表示对指令跟随中的部分可观测性与不确定性进行建模与解决？
• RQ5 在真实世界导航任务中，将监督学习用于访问概率预测与强化学习用于控制相结合，能带来多大的性能提升？

主要发现

• 所提出的 SuReAL 框架成功使物理四旋翼飞行器在真实世界环境中执行长篇自然语言导航指令，且在训练过程中无需自主飞行。
• 通过显式建模智能体对未观测目标位置的信念，模型实现了有效的探索与目标导向行为，提升了对部分可观测性的鲁棒性。
• 与纯强化学习方法相比，使用监督学习进行访问概率预测显著提升了样本效率与任务性能。
• 系统在多种指令下表现出稳定可靠的执行表现，人工评估确认了语义正确性与任务成功率。
• 通过 SuReAL 实现的仿真与真实世界联合训练，实现了优于标准模拟到真实世界微调的领域迁移性能，尤其在处理复杂轨迹与模糊指令方面表现更优。
• 该模型对中等程度的姿态估计噪声具有容忍性，能够从延迟或错误的位姿-图像配对中恢复，表明其在真实世界部署中具备实际鲁棒性。