[论文解读] Just Ask:An Interactive Learning Framework for Vision and Language Navigation

Ta-Chung Chi, Mihail Eric+3 more|arXiv (Cornell University)|Dec 2, 2019

Multimodal Machine Learning Applications参考文献 26被引用 6

一句话总结

本文提出了一种用于视觉-语言导航的交互式学习框架，使智能体能够在导航过程中通过向人类寻求帮助来解决歧义。采用具有奖励塑形的强化学习智能体或更简单的混淆度方法，智能体学会在何时以及问什么问题，平均仅提出一个问题，成功率达到至少15%的提升，同时通过人类引导的持续学习展现出对噪声人类响应的鲁棒性以及数据效率。

ABSTRACT

In the vision and language navigation task, the agent may encounter ambiguous situations that are hard to interpret by just relying on visual information and natural language instructions. We propose an interactive learning framework to endow the agent with the ability to ask for users' help in such situations. As part of this framework, we investigate multiple learning approaches for the agent with different levels of complexity. The simplest model-confusion-based method lets the agent ask questions based on its confusion, relying on the predefined confidence threshold of a next action prediction model. To build on this confusion-based method, the agent is expected to demonstrate more sophisticated reasoning such that it discovers the timing and locations to interact with a human. We achieve this goal using reinforcement learning (RL) with a proposed reward shaping term, which enables the agent to ask questions only when necessary. The success rate can be boosted by at least 15% with only one question asked on average during the navigation. Furthermore, we show that the RL agent is capable of adjusting dynamically to noisy human responses. Finally, we design a continual learning strategy, which can be viewed as a data augmentation method, for the agent to improve further utilizing its interaction history with a human. We demonstrate the proposed strategy is substantially more realistic and data-efficient compared to previously proposed pre-exploration techniques.

研究动机与目标

• 解决视觉-语言导航中的歧义问题，即自然语言指令和视觉线索不足以支持决策制定。
• 使智能体能够实时主动向人类寻求帮助，而非依赖被动导航或预收集的数据。
• 开发一种数据高效、贴近现实的学习策略，利用人类交互历史实现持续改进。
• 研究智能体提问的时间、类型和形式，以优化沟通效率和任务成功率。
• 提高对噪声人类响应的鲁棒性，并减少对预探索数据收集的依赖。

提出的方法

• 提出一种基于混淆度的智能体（MC），当其动作预测置信度低于阈值时提出问题，模拟人类的困惑状态。
• 引入一种带有奖励塑形项的强化学习智能体（ASA），学习何时提问以最大化任务成功率。
• 采用人机协同交互设置，智能体请求正确下一步动作，人类提供真实动作作为响应。
• 采用持续学习策略，利用真实用户交互中收集的交互历史对智能体进行微调。
• 应用两阶段微调流程：在人类引导数据上进行监督微调，可选地结合强化学习，以提升泛化能力。
• 设计一种现实的评估协议，使用未见过环境的不相交且随机划分的数据集，以模拟真实世界部署。

实验结果

研究问题

• RQ1 智能体在视觉-语言导航过程中，何时向人类寻求帮助最为合适？
• RQ2 如何训练智能体仅提出必要问题，同时保持高任务成功率？
• RQ3 智能体能否在交互过程中适应噪声或不一致的人类响应？
• RQ4 与预探索数据增强相比，人类引导探索在数据效率和现实适用性方面表现如何？
• RQ5 能否利用交互历史在新环境中持续提升智能体性能？

主要发现

• 强化学习智能体（ASA）在每条导航轨迹中平均仅提出一个问题，成功率达到至少15%的提升。
• ASA智能体能动态适应人类响应中的噪声，即使响应质量下降也能保持高成功率，而混淆度模型则不具备此能力。
• 在不相交测试集上，人类引导探索比预探索数据增强高出5%（0.554 vs. 0.504），证明了其更高的数据效率。
• 即使仅限制在监督学习微调（不使用强化学习），人类引导方法仍比基线高出3%（0.514 vs. 0.483）。
• 与预探索技术相比，该方法在显著更少的数据量下达到更优性能，数据效率曲线显示人类引导探索在更少轨迹数下即可达到峰值性能。
• MC智能体在各类设置中表现稳定，而ASA智能体由于端到端训练，展现出更强的适应性和探索行为。