[论文解读] Active Visual Information Gathering for Vision-Language Navigation

Hanqing Wang, Wenguan Wang+3 more|arXiv (Cornell University)|Jul 15, 2020

Multimodal Machine Learning Applications参考文献 28被引用 5

一句话总结

本文提出了一种用于视觉语言导航（VLN）的端到端主动视觉信息收集框架，使智能体能够主动探索模糊环境以减少不确定性。通过学习何时、何地以及探索什么内容，智能体提升了导航的鲁棒性，在R2R基准测试的全部三种设置下均实现了最先进性能：单次运行、预探索和束搜索。

ABSTRACT

Vision-language navigation (VLN) is the task of entailing an agent to carry out navigational instructions inside photo-realistic environments. One of the key challenges in VLN is how to conduct a robust navigation by mitigating the uncertainty caused by ambiguous instructions and insufficient observation of the environment. Agents trained by current approaches typically suffer from this and would consequently struggle to avoid random and inefficient actions at every step. In contrast, when humans face such a challenge, they can still maintain robust navigation by actively exploring the surroundings to gather more information and thus make more confident navigation decisions. This work draws inspiration from human navigation behavior and endows an agent with an active information gathering ability for a more intelligent vision-language navigation policy. To achieve this, we propose an end-to-end framework for learning an exploration policy that decides i) when and where to explore, ii) what information is worth gathering during exploration, and iii) how to adjust the navigation decision after the exploration. The experimental results show promising exploration strategies emerged from training, which leads to significant boost in navigation performance. On the R2R challenge leaderboard, our agent gets promising results all three VLN settings, i.e., single run, pre-exploration, and beam search.

研究动机与目标

• 为解决在指令模糊和部分可观测环境下导航的挑战，此类环境会导致现有VLN智能体导航不可靠且低效。
• 赋予智能体类人主动探索能力，在做出导航决策前收集上下文信息。
• 学习一种探索策略，动态决定何时探索、向哪些方向探索，并根据新视觉信息更新导航策略。
• 通过智能信息收集策略，使智能体在已见和未见环境中均能成功，从而提升泛化能力。
• 在R2R VLN基准测试的多种评估设置下实现卓越性能。

提出的方法

• 引入一个端到端可训练的探索模块，将探索决策整合到导航策略中。
• 采用多步探索策略，智能体最多可探索六步，探索决策基于导航置信度的不确定性。
• 使用可微分注意力机制，加权来自已探索方向的视觉特征，并相应地更新导航策略嵌入。
• 通过模仿学习与强化学习相结合的方式训练智能体，奖励信号鼓励成功导航和高效探索。
• 实现基于置信度的探索触发机制，当智能体的导航策略输出置信度较低时激活，表明存在歧义。
• 支持单步与多步探索，探索路径经过优化以最大化决策的信息增益。

实验结果

研究问题

• RQ1 智能体能否学会主动探索环境，以减少由模糊指令引起的信息不确定性？
• RQ2 智能体如何确定何时何地探索，以最大化导航的信息增益？
• RQ3 将主动探索整合到导航策略中是否能提升标准VLN基准测试的性能？
• RQ4 允许的最大探索步数如何影响导航成功率和效率？
• RQ5 通过学习稳健的探索与信息收集策略，智能体能否在未见环境中实现泛化？

主要发现

• 所提出的智能体在束搜索设置下的R2R基准测试中实现了0.70的SPL，显著优于基线模型。
• 在最多四步探索的情况下，智能体的探索率为19.7%，SPL从0.66提升至0.70，表明信息收集有效。
• 在探索过程中，智能体纠正了约65.2%的错误导航动作，而仅有10.7%的正确动作被错误更改。
• 性能在最大探索步数为4步时达到峰值；增至6步后性能下降，表明超过最优探索深度后收益递减。
• 通过探索和重新评估导航置信度，智能体成功导航了具有挑战性的模糊场景，如具有多个出口的走廊。
• 定性结果表明，探索提高了正确导航方向的注意力分数，证实了信息收集后决策能力的提升。