[論文レビュー] CLIP-Nav: Using CLIP for Zero-Shot Vision-and-Language Navigation

Vishnu Sashank Dorbala, Gunnar Sigurðsson+3 more|arXiv (Cornell University)|Nov 30, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文は、CLIPを用いてデータセット固有の微調整なしに自然言語の指し示し表現を視覚的特徴にマッピングするゼロショット視覚言語ナビゲーションフレームワーク、CLIP-Navを提案する。指示をキーフレーズに分解し、CLIPを介してそれらをグランドイングし、Seq CLIP-Navでバックトラッキングを組み込むことで、REVERIEの未観測スプリットにおいて最先端のSPLを達成した。また、相対的成否変化（RCS）という新しい指標で測定したところ、一般化性能が顕著に優れており、教師ありベースラインを大きく上回った。

ABSTRACT

Household environments are visually diverse. Embodied agents performing Vision-and-Language Navigation (VLN) in the wild must be able to handle this diversity, while also following arbitrary language instructions. Recently, Vision-Language models like CLIP have shown great performance on the task of zero-shot object recognition. In this work, we ask if these models are also capable of zero-shot language grounding. In particular, we utilize CLIP to tackle the novel problem of zero-shot VLN using natural language referring expressions that describe target objects, in contrast to past work that used simple language templates describing object classes. We examine CLIP's capability in making sequential navigational decisions without any dataset-specific finetuning, and study how it influences the path that an agent takes. Our results on the coarse-grained instruction following task of REVERIE demonstrate the navigational capability of CLIP, surpassing the supervised baseline in terms of both success rate (SR) and success weighted by path length (SPL). More importantly, we quantitatively show that our CLIP-based zero-shot approach generalizes better to show consistent performance across environments when compared to SOTA, fully supervised learning approaches when evaluated via Relative Change in Success (RCS).

研究の動機と目的

• データセットバイアスと視覚的多様性のため、教師ありVLNモデルの未観測環境への一般化性能の低さを是正する。
• CLIPがナビゲーションにおける複雑で環境特有の指し示し表現のゼロショット言語グランドイングを可能にするかを調査する。
• 微調整を回避しながら、多様で未観測の環境においても高い性能を維持するゼロショットナビゲーションフレームワークを開発する。
• 見られる環境と見られない環境の間での一般化性能を定量的に測定するため、相対的成否変化（RCS）という新しい指標を導入する。
• バックトラッキングがゼロショットナビゲーション性能を向上させ、過剰移動を低減し、経路効率を向上させる程度を明らかにする。

提案手法

• 自然言語の指示をキーフレーズに分解し、グランドイングに適した顕著な指し示し表現を抽出する。
• 各ナビゲーションステップで、CLIPの視覚言語エンコーダーを用いてキーフレーズと視覚的観測との間のグランドイングスコアを計算する。
• キーフレーズ間で最大のグランドイングスコアを持つものを選択してエージェントの行動を制御し、微調整なしにゼロショット同期を実現する。
• エージェントが進展しない場合に以前の状態を再訪問するバックトラッキングをSeq CLIP-Navに導入し、経路最適化を向上させる。
• グランドイングスコアに基づいて行動を選択するグリーディサーチ戦略を採用し、ターゲットに到達できない場合にバックトラッキングを発動する。
• VLNタスクに適応させない固定のCLIPモデル（例：ViT-B/32）を用い、完全なゼロショット動作を保証する。

実験結果

リサーチクエスチョン

• RQ1 CLIPは、視覚言語ナビゲーションにおける複雑で環境特有の指し示し表現のゼロショットグランドイングに有効に利用できるか？
• RQ2 CLIPベースのゼロショットエージェントは、未観測環境において教師ありSOTAモデルと比較してどの程度優れているか？
• RQ3 バックトラッキングはゼロショットVLNにおけるナビゲーション成功確率と経路効率をどの程度向上させるか？
• RQ4 相対的成否変化（RCS）という新しい指標は、見られる環境と見られない環境の間での一般化性能を効果的に定量化できるか？
• RQ5 CLIPベースのアプローチは、多様な住宅レイアウトと視覚的変動を伴う環境において、教師ありモデルよりも優れた一般化性能を示すか？

主な発見

• Seq CLIP-Navは、REVERIEの未観測バリデーションスプリットで、成功確率（SR）14.97%、SPL 24.46%を達成し、REVERIEベースラインおよびSOTA教師ありモデルのSPLを上回った。
• CLIP-Navは未観測SPLを24.46%に達成し、未観測スプリットにおいてSOTA教師あり手法であるAirBERT（SPL: 24.46）およびDUET（SPL: 30.85）を上回り、優れた経路効率を示した。
• Seq CLIP-Navの相対的成否変化（RCS）はSPLで20.40%であり、教師ありモデル（例：AirBERT: 50.69%）と比較して顕著に低いことから、未観測環境への一般化性能が優れていることが示された。
• Seq CLIP-NavのOSR（全体的成功率）は未観測スプリットで48.41%に達し、すべての住宅スキャンにおいて最高の単一値を記録し、特定の環境での強力な性能を示した。
• CLIPベースの手法では、見られるスプリットと見られないスプリットの間の性能差が著しく縮小されており（SR: RCS 17.56%、SPL: RCS 20.40%）、教師ありモデル（RCS > 50%）と比較して一般化性能が顕著に優れていることが確認された。
• Seq CLIP-Navにおけるバックトラッキングは、CLIP-Nav単体と比較してSRを7%以上向上させた（未観測環境で12.34% 対 4.56%）ことから、経路の過剰移動を防ぐ上で極めて重要な役割を果たしていることが示された。