[论文解读] MLANet: Multi-Level Attention Network with Sub-instruction for Continuous Vision-and-Language Navigation

Zongtao He, Liuyi Wang+4 more|arXiv (Cornell University)|Mar 2, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 MLANet，一种用于连续视觉-语言导航的多层级注意力网络，采用子指令监督。它引入了一种无需标注的快速子指令算法（FSA），可高效生成子指令；设计了多层级注意力（MLA）模块，用于融合低层级与高层级语义信息；并提出峰值注意力损失（PAL），以动态聚焦于当前子指令，从而在验证集未见环境上实现31%的SPL提升，在测试集上实现28%的SPL提升，达到当前最优性能。

ABSTRACT

Vision-and-Language Navigation (VLN) aims to develop intelligent agents to navigate in unseen environments only through language and vision supervision. In the recently proposed continuous settings (continuous VLN), the agent must act in a free 3D space and faces tougher challenges like real-time execution, complex instruction understanding, and long action sequence prediction. For a better performance in continuous VLN, we design a multi-level instruction understanding procedure and propose a novel model, Multi-Level Attention Network (MLANet). The first step of MLANet is to generate sub-instructions efficiently. We design a Fast Sub-instruction Algorithm (FSA) to segment the raw instruction into sub-instructions and generate a new sub-instruction dataset named ``FSASub". FSA is annotation-free and faster than the current method by 70 times, thus fitting the real-time requirement in continuous VLN. To solve the complex instruction understanding problem, MLANet needs a global perception of the instruction and observations. We propose a Multi-Level Attention (MLA) module to fuse vision, low-level semantics, and high-level semantics, which produce features containing a dynamic and global comprehension of the task. MLA also mitigates the adverse effects of noise words, thus ensuring a robust understanding of the instruction. To correctly predict actions in long trajectories, MLANet needs to focus on what sub-instruction is being executed every step. We propose a Peak Attention Loss (PAL) to improve the flexible and adaptive selection of the current sub-instruction. PAL benefits the navigation agent by concentrating its attention on the local information, thus helping the agent predict the most appropriate actions. We train and test MLANet in the standard benchmark. Experiment results show MLANet outperforms baselines by a significant margin.

研究动机与目标

• 为解决连续视觉-语言导航（VLN）中实时执行、复杂指令理解及长时程动作预测的挑战。
• 通过引入子指令作为比单个词语更细粒度的语义单元，提升指令理解能力。
• 通过新型损失函数实现在导航过程中对子指令的动态自适应注意力。
• 开发一种高效、无需标注的子指令生成方法，适用于实时部署。

提出的方法

• 提出一种快速子指令算法（FSA），一种高效且无需标注的方法，可将原始指令分割为子指令，其速度比先前基于深度学习的方法快70倍。
• 引入多层级注意力（MLA）模块，将视觉特征、词级语义与子指令级语义融合为一种动态且全局一致的表示。
• 采用峰值注意力损失（PAL），使注意力分数在每一步仅聚焦于一个子指令，从而增强对局部目标的感知能力。
• 使用高斯、常数、线性、二次或三次注意力聚焦比（σ）来控制时间注意力峰值，其中高斯分布表现最优。
• 在R2R和RxR数据集的标准连续VLN基准上，使用完整测试集对MLANet进行训练与评估。
• 发布一个新的子指令数据集FSASub，由FSA生成，供未来研究公开使用。

实验结果

研究问题

• RQ1 子指令分割能否提升连续VLN中的指令理解与导航性能？
• RQ2 融合词级与子指令级语义的多层级注意力机制，如何增强智能体的感知能力与鲁棒性？
• RQ3 如PAL这样的无监督注意力损失，能否有效引导智能体在每一步聚焦于正确的子指令？
• RQ4 与现有子指令生成方法相比，所提出的FSA算法效率如何？是否支持实时导航？
• RQ5 当在已见环境上训练时，模型在未见环境上是否具备良好的泛化能力？

主要发现

• 与基线模型相比，MLANet在验证集未见环境上的SPL提升达31%，表明其在未见环境中的强大泛化能力。
• 在测试集上，MLANet实现28%的SPL提升，证实其在类真实世界导航场景中的有效性。
• 采用高斯聚焦比（σ = 0.6）的峰值注意力损失（PAL）表现最佳，在验证集未见环境上达到30.1%的成功率与28.4%的SPL。
• FSA算法生成子指令的速度比先前方法快70倍，适用于实时连续VLN应用。
• 定性分析显示，模型的注意力随时间在子指令间合理转移，注意力热力图中呈现清晰的对角线模式，表明时间对齐准确。
• 失败案例显示，模型对罕见视觉或语言线索（如“发光的枝形吊灯”）较为敏感，表明在非常见观测下仍存在鲁棒性局限。