[论文解读] CrossMap Transformer: A Crossmodal Masked Path Transformer Using Double Back-Translation for Vision-and-Language Navigation

Aly Magassouba, Komei Sugiura+1 more|arXiv (Cornell University)|Mar 1, 2021

Multimodal Machine Learning Applications参考文献 27被引用 6

一句话总结

本文提出了一种名为CrossMap Transformer（CMT）的视觉-语言导航模型，该模型通过双回译（DBT）机制联合学习从语言指令生成导航路径，并从预测路径重建语言指令。通过在路径生成器与说话者网络之间共享潜在特征，CMT增强了跨模态对齐，其在R2R基准上的性能与当前最先进的基于LSTM的方法相当。

ABSTRACT

Navigation guided by natural language instructions is particularly suitable for Domestic Service Robots that interacts naturally with users. This task involves the prediction of a sequence of actions that leads to a specified destination given a natural language navigation instruction. The task thus requires the understanding of instructions, such as ``Walk out of the bathroom and wait on the stairs that are on the right''. The Visual and Language Navigation remains challenging, notably because it requires the exploration of the environment and at the accurate following of a path specified by the instructions to model the relationship between language and vision. To address this, we propose the CrossMap Transformer network, which encodes the linguistic and visual features to sequentially generate a path. The CrossMap transformer is tied to a Transformer-based speaker that generates navigation instructions. The two networks share common latent features, for mutual enhancement through a double back translation model: Generated paths are translated into instructions while generated instructions are translated into path The experimental results show the benefits of our approach in terms of instruction understanding and instruction generation.

研究动机与目标

• 通过联合训练路径生成器与语言说话者网络，提升视觉-语言导航性能。
• 解决室内导航任务中模糊、长形式语言指令的挑战。
• 通过改进跨模态特征学习，缩小神经网络模型与人类水平导航性能之间的差距。
• 通过双回译实现的数据增强，提升模型在未见环境中的泛化能力。
• 评估路径掩码与跨模态注意力在建模指令-环境关系中的有效性。

提出的方法

• CrossMap Transformer使用基于Transformer的架构对语言和视觉特征进行编码，以顺序生成导航动作。
• 在训练过程中应用路径掩码，以促使模型在每一步关注相关的视觉和语言线索。
• 采用双回译（DBT）机制，通过相互监督联合训练CrossMap Transformer与CrossMap说话者网络。
• 在DBT中，预测的动作序列被转换为自然语言指令，而生成的指令又被用于重建动作路径，形成自监督循环。
• 路径生成器与说话者网络之间共享潜在特征，实现语言理解与导航策略学习的相互增强。
• 模型在Room-to-Room（R2R）数据集上进行训练与评估，使用标准指标包括成功率（SR）、SPL和最优成功率（OSR）。

实验结果

研究问题

• RQ1 当与说话者网络联合训练时，基于Transformer的架构是否能在视觉-语言导航任务中超越循环网络？
• RQ2 双回译如何改善语言与视觉导航路径之间的跨模态对齐？
• RQ3 路径掩码在多大程度上增强了模型关注相关环境与语言特征的能力？
• RQ4 路径生成器与说话者网络的联合训练是否提升了模型在未见环境中的泛化能力？
• RQ5 在评估视觉-语言导航任务中的指令生成质量时，标准图像字幕指标与SPICE相比表现如何？

主要发现

• CMT模型在R2R的可见数据集上取得了0.64的成功率（SR），在未见数据集上为0.50，优于基线CMT-type1模型（SR分别为0.59和0.48）。
• 使用双回译后，SPL从CMT-type1的0.51提升至可见数据集的0.53，从0.35提升至未见数据集的0.38。
• 消融实验确认，路径掩码与DBT均显著提升了性能，其中DBT在未见环境中的泛化能力提升最为显著。
• CMT（仅DBT）变体在泛化能力上优于Speaker-Follower与EnvDrop，表明Transformer解码器在VLN任务中的优势。
• 在指令生成方面，CMT的SPICE得分为21.9，优于Speaker-Follower（19.2）与CMS-type1（20.9），尽管其BLEU-4与CIDEr得分较低。
• 定性分析表明，模型在大多数情况下能正确建模地标之间的关系，但对视觉上相似的对象（如多个桌子或远距离地标）仍存在挑战。