[论文解读] Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information

Jialu Li, Hao Tan+1 more|arXiv (Cornell University)|Apr 19, 2021

Multimodal Machine Learning Applications参考文献 41被引用 4

一句话总结

本文提出了一种语法感知的视觉-语言导航智能体，通过子节点求和树LSTM利用依存树结构，提升自然语言指令与视觉场景之间的跨模态对齐。通过编码短语级别的句法信息，该模型在多语言Room-Across-Room数据集上实现了最先进性能，并显著提升了对未见环境的泛化能力，尤其在零样本设置下表现突出。

ABSTRACT

Vision language navigation is the task that requires an agent to navigate through a 3D environment based on natural language instructions. One key challenge in this task is to ground instructions with the current visual information that the agent perceives. Most of the existing work employs soft attention over individual words to locate the instruction required for the next action. However, different words have different functions in a sentence (e.g., modifiers convey attributes, verbs convey actions). Syntax information like dependencies and phrase structures can aid the agent to locate important parts of the instruction. Hence, in this paper, we propose a navigation agent that utilizes syntax information derived from a dependency tree to enhance alignment between the instruction and the current visual scenes. Empirically, our agent outperforms the baseline model that does not use syntax information on the Room-to-Room dataset, especially in the unseen environment. Besides, our agent achieves the new state-of-the-art on Room-Across-Room dataset, which contains instructions in 3 languages (English, Hindi, and Telugu). We also show that our agent is better at aligning instructions with the current visual information via qualitative visualizations. Code and models: https://github.com/jialuli-luka/SyntaxVLN

研究动机与目标

• 提升视觉-语言导航中自然语言指令与视觉场景之间的跨模态对齐。
• 探究依存树中的句法信息是否能增强定位与导航性能。
• 减少词级别过拟合，提升在未见环境中的零样本泛化能力。
• 开发一种语法感知编码器，捕捉短语级别的结构以提升指令理解能力。
• 在多语言与零样本泛化基准上评估性能。

提出的方法

• 模型使用依存解析树对自然语言指令进行结构化，提取词之间的句法关系。
• 在依存树上应用子节点求和树LSTM，生成语法感知的上下文表示。
• 通过交叉注意力机制将语法感知的指令编码与视觉特征融合，以改善定位效果。
• 采用模仿学习端到端训练导航策略，动作预测基于对齐的视觉-语言特征。
• 在Room-to-Room（R2R）与Room-Across-Room（RxR）数据集上进行评估，包括多语言设置。
• 实现变体包括对依存树进行平均池化以及使用短语结构树，以消融句法结构的贡献。

实验结果

研究问题

• RQ1 基于依存树的句法结构能否提升视觉-语言导航中的跨模态对齐？
• RQ2 整合短语级别的句法信息是否能带来在未见环境中的更好泛化？
• RQ3 与词级别注意力相比，语法感知表示在鲁棒性与可解释性方面表现如何？
• RQ4 句法信息在多语言指令遵循任务中能多大程度上提升性能？
• RQ5 句法信息的优势是否依赖于低资源语言中依存解析器的质量？

主要发现

• 所提出的语法感知模型在多语言Room-Across-Room（RxR）数据集上实现了新的最先进性能，优于提交时的先前方法。
• 在R2R数据集上，模型在未见环境中的成功率提升了3.5%，展现出强大的零样本泛化能力。
• 在RxR中，英语提升0.7%，泰卢固语提升0.1%，印地语提升最大，表明解析器质量影响性能表现。
• 定性分析表明，语法感知智能体能更好地将指令短语与视觉场景对齐，例如将“walk past the shelves”和“out of the garage”识别为独立的导航步骤。
• 消融实验表明，对依存树进行平均池化使性能下降约3%，而使用短语结构树导致成功率降低约2%，表明依存树更具有效性。
• 该模型减少了词级别过拟合，学习到更具可解释性的、短语级别的对齐，视觉注意力图可证实这一点。