[论文解读] Counterfactual Vision-and-Language Navigation via Adversarial Path Sampling

Tsu-Jui Fu, Xin Wang+4 more|arXiv (Cornell University)|Nov 17, 2019

Multimodal Machine Learning Applications参考文献 38被引用 15

一句话总结

本文提出了一种对抗性路径采样器（APS），通过对抗性训练生成视觉-语言导航（VLN）任务中的反事实导航路径，以生成具有挑战性且有效的数据增强。APS在已见和未见环境中均提升了泛化能力，显著增强了多种VLN模型的性能，并支持在未见环境中的预探索，大幅提升了数据稀缺场景下的鲁棒性和成功率。

ABSTRACT

Vision-and-Language Navigation (VLN) is a task where agents must decide how to move through a 3D environment to reach a goal by grounding natural language instructions to the visual surroundings. One of the problems of the VLN task is data scarcity since it is difficult to collect enough navigation paths with human-annotated instructions for interactive environments. In this paper, we explore the use of counterfactual thinking as a human-inspired data augmentation method that results in robust models. Counterfactual thinking is a concept that describes the human propensity to create possible alternatives to life events that have already occurred. We propose an adversarial-driven counterfactual reasoning model that can consider effective conditions instead of low-quality augmented data. In particular, we present a model-agnostic adversarial path sampler (APS) that learns to sample challenging paths that force the navigator to improve based on the navigation performance. APS also serves to do pre-exploration of unseen environments to strengthen the model's ability to generalize. We evaluate the influence of APS on the performance of different VLN baseline models using the room-to-room dataset (R2R). The results show that the adversarial training process with our proposed APS benefits VLN models under both seen and unseen environments. And the pre-exploration process can further gain additional improvements under unseen environments.

研究动机与目标

• 通过借鉴人类的反事实推理，解决视觉-语言导航（VLN）中的数据稀缺问题。
• 克服随机数据增强方法生成的路径信息量不足或质量低下的局限性。
• 开发一种与模型无关的方法，仅生成高质量、具有挑战性的反事实路径，以提升导航策略性能。
• 在未见环境中实现基于环境的预探索，以增强泛化能力和适应性。
• 证明对抗性采样反事实路径相较于随机增强，在多种VLN模型上均能带来更优性能。

提出的方法

• 提出一种与模型无关的对抗性路径采样器（APS），学习生成用于数据增强的具有挑战性的导航路径。
• 采用对抗性训练机制：导航器通过解决APS采样的路径来优化其策略，同时APS持续演化以生成越来越困难的路径。
• 将APS无缝集成到现有VLN模型（如Seq2Seq和Speaker-Follower）中，无需修改网络架构。
• 通过使用APS在部署前模拟探索，实现在未见环境中的预探索。
• 训练APS以采样非最短但语义和视觉上多样化的路径，从而提升策略的鲁棒性。
• 利用视觉特征嵌入和L2距离衡量环境差异，评估预探索的有效性。

实验结果

研究问题

• RQ1 对抗性采样生成的反事实路径是否能提升VLN模型在已见和未见环境中的性能？
• RQ2 与随机采样相比，APS生成的数据在路径难度和模型性能提升方面表现如何？
• RQ3 使用APS进行预探索在新型未见3D环境中能多大程度上提升泛化能力？
• RQ4 APS带来的性能增益是否依赖于训练环境与测试环境之间的视觉和结构相似性？
• RQ5 APS的对抗性训练过程是否能生成比标准数据增强更鲁棒的导航策略？

主要发现

• 所有模型在APS采样路径上的表现均显著低于随机采样路径，表明APS生成的路径具有更高难度。
• 使用APS采样路径训练的Seq2Seq模型（Seq2Seq_aps）在性能上优于使用随机采样路径训练的模型（Seq2Seq_rand），且在未见环境中的泛化能力更强。
• Seq2Seq_aps在已见和未见测试集上的成功率均超过Seq2Seq_rand，证明了APS生成数据的有效性。
• 使用APS进行预探索显著提升了未见环境中的性能，其中Seq2Seq的最佳预探索步数为15步，Speaker-Follower为40步。
• 与训练环境视觉特征差异更大的环境，在预探索下性能提升更显著，表明对新型空间具有更强的适应能力。
• 定性结果表明，预探索使智能体能够成功导航至复杂且陌生的空间——例如在未见环境中成功离开浴室，而基线模型则失败。