[论文解读] CLIP-Nav: Using CLIP for Zero-Shot Vision-and-Language Navigation

Vishnu Sashank Dorbala, Gunnar Sigurðsson+3 more|arXiv (Cornell University)|Nov 30, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出 CLIP-Nav，一种零样本视觉-语言导航框架，利用 CLIP 将自然语言指代表达定位到视觉特征，而无需任何数据集特定的微调。通过将指令分解为关键词短语，利用 CLIP 进行定位，并在 Seq CLIP-Nav 中引入回溯机制，该方法在 REVERIE 的未见分割上实现了最先进（SOTA）的 SPL 性能，并在泛化能力方面显著优于监督基线模型，这通过一项新指标——成功度相对变化（RCS）进行衡量。

ABSTRACT

Household environments are visually diverse. Embodied agents performing Vision-and-Language Navigation (VLN) in the wild must be able to handle this diversity, while also following arbitrary language instructions. Recently, Vision-Language models like CLIP have shown great performance on the task of zero-shot object recognition. In this work, we ask if these models are also capable of zero-shot language grounding. In particular, we utilize CLIP to tackle the novel problem of zero-shot VLN using natural language referring expressions that describe target objects, in contrast to past work that used simple language templates describing object classes. We examine CLIP's capability in making sequential navigational decisions without any dataset-specific finetuning, and study how it influences the path that an agent takes. Our results on the coarse-grained instruction following task of REVERIE demonstrate the navigational capability of CLIP, surpassing the supervised baseline in terms of both success rate (SR) and success weighted by path length (SPL). More importantly, we quantitatively show that our CLIP-based zero-shot approach generalizes better to show consistent performance across environments when compared to SOTA, fully supervised learning approaches when evaluated via Relative Change in Success (RCS).

研究动机与目标

• 解决监督式 VLN 模型因数据集偏差和视觉多样性导致在未见环境中泛化能力差的问题。
• 探究 CLIP 是否能够有效实现复杂、环境特定的指代表达在导航任务中的零样本语言定位。
• 开发一种无需微调的零样本导航框架，同时在多样化、未见环境中保持强性能。
• 引入一项新指标——成功度相对变化（RCS），以定量衡量在已见与未见环境之间的泛化性能。
• 证明回溯机制能显著提升零样本导航性能，减少路径越界并提高路径效率。

提出的方法

• 将自然语言指令分解为关键词短语，以分离出用于定位的关键指代表达。
• 利用 CLIP 的视觉-语言编码器，在每个导航步骤中计算关键词短语与视觉观测之间的定位得分。
• 通过所有关键词短语中最高的定位得分来驱动智能体动作，实现在无需微调情况下的零样本对齐。
• 在 Seq CLIP-Nav 中引入回溯机制，当智能体无法前进时，可回溯至先前状态，从而优化路径。
• 采用贪心搜索策略，基于定位得分选择动作，当未能抵达目标时触发回溯。
• 使用固定的 CLIP 模型（如 ViT-B/32）且不针对 VLN 任务进行任何调整，确保完全的零样本运行。

实验结果

研究问题

• RQ1 CLIP 是否能有效用于视觉-语言导航中复杂、环境特定的指代表达的零样本定位？
• RQ2 基于 CLIP 的零样本智能体在未见环境中的性能与监督式 SOTA 模型相比如何？
• RQ3 在零样本 VLN 中，回溯机制在多大程度上提升了导航成功率与路径效率？
• RQ4 新指标——成功度相对变化（RCS）是否能有效量化在已见与未见环境之间的泛化性能？
• RQ5 基于 CLIP 的方法是否在多样化家庭布局与视觉变化中展现出优于监督模型的泛化能力？

主要发现

• Seq CLIP-Nav 在 REVERIE 的未见验证分割上实现了 14.97% 的成功率（SR）和 24.46% 的 SPL，优于 REVERIE 基线模型与 SOTA 监督模型的 SPL 表现。
• CLIP-Nav 在未见环境中的 SPL 达到 24.46%，超过 SOTA 监督方法 AirBERT（SPL: 24.46）和 DUET（SPL: 30.85）在未见分割上的表现，表明其路径效率更优。
• Seq CLIP-Nav 的成功度相对变化（RCS）在 SPL 上为 20.40%，显著低于监督模型（如 AirBERT: 50.69%），证明其在未见环境中的泛化能力更强。
• Seq CLIP-Nav 在未见分割上的 OSR（总体成功率）达到 48.41%，为所有房屋扫描中最高单值，表明其在特定环境中的表现强劲。
• 与监督模型相比，基于 CLIP 的方法在已见与未见分割之间的性能差距显著缩小（SR 的 RCS 为 17.56%，SPL 的 RCS 为 20.40%），而监督模型的 RCS 超过 50%，证实其具备更优的泛化能力。
• 与仅使用 CLIP-Nav 相比，Seq CLIP-Nav 中的回溯机制使成功率提升超过 7%（未见环境：12.34% vs. 4.56%），凸显其在防止路径越界中的关键作用。