[论文解读] Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks

Fengda Zhu, Yi Zhu+2 more|arXiv (Cornell University)|Nov 18, 2019

Multimodal Machine Learning Applications参考文献 50被引用 16

一句话总结

本文提出辅助推理导航（AuxRN），一种自监督框架，通过引入四项辅助推理任务——轨迹重述、进展估计、下一步方向预测和跨模态匹配，增强视觉语言导航。这些任务提升了零样本泛化能力并显著提升性能，在未见的VLN基准上达到65%的SPL，超越了先前的最先进方法。

ABSTRACT

Vision-Language Navigation (VLN) is a task where agents learn to navigate following natural language instructions. The key to this task is to perceive both the visual scene and natural language sequentially. Conventional approaches exploit the vision and language features in cross-modal grounding. However, the VLN task remains challenging, since previous works have neglected the rich semantic information contained in the environment (such as implicit navigation graphs or sub-trajectory semantics). In this paper, we introduce Auxiliary Reasoning Navigation (AuxRN), a framework with four self-supervised auxiliary reasoning tasks to take advantage of the additional training signals derived from the semantic information. The auxiliary tasks have four reasoning objectives: explaining the previous actions, estimating the navigation progress, predicting the next orientation, and evaluating the trajectory consistency. As a result, these additional training signals help the agent to acquire knowledge of semantic representations in order to reason about its activity and build a thorough perception of the environment. Our experiments indicate that auxiliary reasoning tasks improve both the performance of the main task and the model generalizability by a large margin. Empirically, we demonstrate that an agent trained with self-supervised auxiliary reasoning tasks substantially outperforms the previous state-of-the-art method, being the best existing approach on the standard benchmark.

研究动机与目标

• 为解决现有视觉语言导航（VLN）智能体在感知语义上下文以及对过去动作和未来目标进行推理方面的局限性。
• 通过利用自监督辅助任务从导航轨迹中提取隐含语义信号，提升对未见环境的泛化能力。
• 通过训练智能体对其自身动作、进展和环境一致性进行推理，提升可解释性和数据效率。
• 通过辅助任务在微调过程中对齐表征，减少已见与未见环境之间的域偏移。

提出的方法

• 引入四项自监督辅助推理任务：轨迹重述（对过去动作的自然语言解释）、进展估计（预测归一化的轨迹完成度）、下一步方向预测（估计转向角度）以及跨模态匹配（随时间对齐视觉与语言特征）。
• 采用逐步监督与二元交叉熵（BCE）损失进行进展估计，其性能优于均方误差（MSE）或先前的进展监测器。
• 使用双向LSTM编码语言指令，并计算注意力图以追踪语言特征在导航步骤中的关注变化。
• 在已见环境中进行预训练时应用辅助损失，并在未见环境中进行微调，各任务间共享表征学习。
• 以成功度加权路径长度（SPL）为主要评估指标，并通过消融实验验证每一项辅助任务的贡献。
• 可视化注意力图与导航进展，以证明推理与一致性理解能力的提升。

实验结果

研究问题

• RQ1 自监督辅助推理任务能否提升视觉语言导航的零样本泛化能力？
• RQ2 建模过去动作推理与未来预测是否能提升导航性能与鲁棒性？
• RQ3 与基于距离或MSE的监督相比，使用BCE损失的逐步进展估计表现如何？
• RQ4 辅助任务在多大程度上对注意力机制进行正则化并提升模型可解释性？
• RQ5 辅助任务能否在微调过程中减少已见与未见环境之间的域差距？

主要发现

• 所提出的AuxRN框架在未见VLN基准上达到65%的SPL，较先前SOTA提升4%，成为首个在官方VLN排行榜上排名第一的模型。
• 在验证集上，使用辅助任务进行预训练的模型相比基线模型提升3.45%，表明性能显著增强。
• 进展估计的逐步+BCE变体在已见数据集上实现6.34%的SPL提升，在未见数据集上实现1.58%的提升，优于基线的进展监测器。
• 辅助任务改善了注意力图的正则化，最终模型随时间对关键词（如指令的起始与结束词）的关注度显著增强。
• 可视化结果表明，进展估计器与跨模态匹配模块在接近目标时一致增长至1.0，表明对轨迹一致性与进展的准确感知。
• 消融实验表明，BCE损失优于MSE或先前的进展监测器，且辅助任务整体提升了泛化能力与鲁棒性。