[论文解读] Help, Anna! Visual Navigation with Natural Multimodal Assistance via Retrospective Curiosity-Encouraging Imitation Learning

Khanh Nguyen, Hal Daumé|arXiv (Cornell University)|Sep 4, 2019

Multimodal Machine Learning Applications参考文献 49被引用 5

一句话总结

本文提出 Anna，一种自动化的多模态导航助手，使智能体能够在三维室内环境中通过请求和理解自然语言与视觉指令来完成物体查找任务。该方法采用一种鼓励好奇心的教师策略的分层模仿学习框架，使智能体能够智能地请求帮助，并泛化至未见过的环境，其在未见过的语言环境中的成功率达到 88.37%，在未见过的环境中的成功率为 47.45%，显著优于基线模型。

ABSTRACT

Mobile agents that can leverage help from humans can potentially accomplish more complex tasks than they could entirely on their own. We develop "Help, Anna!" (HANNA), an interactive photo-realistic simulator in which an agent fulfills object-finding tasks by requesting and interpreting natural language-and-vision assistance. An agent solving tasks in a HANNA environment can leverage simulated human assistants, called ANNA (Automatic Natural Navigation Assistants), which, upon request, provide natural language and visual instructions to direct the agent towards the goals. To address the HANNA problem, we develop a memory-augmented neural agent that hierarchically models multiple levels of decision-making, and an imitation learning algorithm that teaches the agent to avoid repeating past mistakes while simultaneously predicting its own chances of making future progress. Empirically, our approach is able to ask for help more effectively than competitive baselines and, thus, attains higher task success rate on both previously seen and previously unseen environments. We publicly release code and data at https://github.com/khanhptnk/hanna . A video demo is available at https://youtu.be/18P94aaaLKg .

研究动机与目标

• 使智能体能够从视觉导航任务中学习自然的人类语言和视觉辅助。
• 通过模拟人类辅助的自动化系统（Anna）减少对昂贵的人工介入的依赖。
• 开发一种分层模仿学习框架，使智能体能够学习何时以及如何请求帮助。
• 通过多模态指令理解与好奇心驱动的探索，提升在未见过环境中的泛化能力。
• 建立一种低成本、可扩展的交互式导航训练范式，利用模拟的人类辅助。

提出的方法

• 智能体使用分层神经网络表示导航子任务，将复杂目标分解为可管理的步骤。
• 一种新颖的模仿学习算法使用教师策略训练智能体，该策略根据智能体行为自适应调整，并鼓励探索未尝试过的动作。
• 教师策略引入一种好奇心鼓励损失，以减少在先前访问位置重复导航的错误。
• 模型通过图像嵌入和自然语言标记上的注意力机制，整合语言和视觉指令。
• 系统在 Matterport3D 和 Room-to-Room 数据集上进行训练，使用模拟器来模拟真实室内环境中智能体的导航行为。
• 智能体学习基于不确定性和未来预测来判断何时请求帮助，从而最小化冗余请求。

实验结果

研究问题

• RQ1 智能体能否在视觉导航任务中有效学习请求和理解自然语言与视觉辅助？
• RQ2 与仅视觉或仅语言辅助相比，多模态辅助（语言+视觉）在未见过环境中的泛化能力提升效果如何？
• RQ3 鼓励好奇心的模仿学习目标能否减少重复导航错误并提升样本效率？
• RQ4 智能体学习智能请求帮助是否优于基于启发式规则的帮助请求策略？
• RQ5 理解基于语言的辅助在多大程度上增强了智能体在未见环境中的泛化能力？

主要发现

• 所提出的智能体在未见过的语言环境中成功率达到 88.37%，在未见过的环境中成功率为 47.45%，优于所有基线模型。
• 添加基于语言的辅助使未见过环境中的成功率提升 15.17%，证实其在增强泛化能力中的作用。
• 好奇心鼓励损失使导航重复减少 17.85%，帮助请求重复减少 21.10%，提升了系统鲁棒性。
• 所学习的帮助请求策略相比 AskEvery5 基线，将帮助请求减少 50%，同时在未见过环境中实现 10.40% 的更高成功率。
• 具有多模态输入的分层模型在未见过环境中的成功率比基于 LSTM 的编码器-解码器模型高出 28.2%。
• 多模态辅助显著提升了智能体性能：仅语言辅助在未见过语言环境中的成功率为 84.95%，加入视觉后提升至 88.37%。