[論文レビュー] CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation

Samir Yitzhak Gadre, Mitchell Wortsman+3 more|arXiv (Cornell University)|Mar 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本論文は、微調整なしでオブジェクト局在を実現するゼロショット言語駆動型ナビゲーションフレームワークであるCoW（CLIP on Wheels）を紹介する。オープンボリュームのCLIPモデルを活用し、特定タスクの微調整を不要とする。本研究では、珍しい、属性記述付き、隠れたオブジェクトを対象としたナビゲーションを評価するためのPastureベンチマークを提案する。その結果、単純なCoWベースラインが、微調整なしでRoboTHORにおいて15.6ポイントの成功率向上を達成し、ナビゲーション効率においても最先端のZSON手法と同等の性能を示した。

ABSTRACT

For robots to be generally useful, they must be able to find arbitrary objects described by people (i.e., be language-driven) even without expensive navigation training on in-domain data (i.e., perform zero-shot inference). We explore these capabilities in a unified setting: language-driven zero-shot object navigation (L-ZSON). Inspired by the recent success of open-vocabulary models for image classification, we investigate a straightforward framework, CLIP on Wheels (CoW), to adapt open-vocabulary models to this task without fine-tuning. To better evaluate L-ZSON, we introduce the Pasture benchmark, which considers finding uncommon objects, objects described by spatial and appearance attributes, and hidden objects described relative to visible objects. We conduct an in-depth empirical study by directly deploying 21 CoW baselines across Habitat, RoboTHOR, and Pasture. In total, we evaluate over 90k navigation episodes and find that (1) CoW baselines often struggle to leverage language descriptions, but are proficient at finding uncommon objects. (2) A simple CoW, with CLIP-based object localization and classical exploration -- and no additional training -- matches the navigation efficiency of a state-of-the-art ZSON method trained for 500M steps on Habitat MP3D data. This same CoW provides a 15.6 percentage point improvement in success over a state-of-the-art RoboTHOR ZSON model.

研究の動機と目的

• ターゲット環境やオブジェクトに対して、タスク固有の訓練を一切行わずに、言語駆動型ゼロショットオブジェクトナビゲーション（L-ZSON）を可能にすること。
• CLIPのようなオープンボリュームモデルが、多様で分布外の言語記述を伴う現実世界のエンベデッドナビゲーションタスクにおいて、どの程度有効に機能するかを評価すること。
• 従来のベンチマークではカバーされていない、珍しいオブジェクト、属性ベースのオブジェクト、隠れたオブジェクトを対象としたナビゲーションをテストする、新しいベンチマークPastureの設計。
• 微調整なしで、CLIPベースの認識と古典的な探索戦略を組み合わせた強力なゼロショットベースラインの確立。
• オープンボリュームモデルが自然言語をどのように活用できるか、その強みと限界を実証的に評価すること。

提案手法

• CoWは、画像特徴とテキスト記述の類似度スコアを計算することで、CLIPを視覚言語グランドイングに適応させる。
• 2段階戦略を採用：言語記述が高信頼度の局在を示す場合にはターゲット駆動型計画を実行し、そうでない場合には古典的探索を実行する。
• ViT-B/32バックボーンを用いたCLIPベースの視覚エンコーダーを採用し、局在スコアの最適化のための後処理を適用する。
• プロンプティング戦略、探索ポリシー、バックボーンアーキテクチャの異なる21種類のCoWバリアントを評価する。
• Pastureベンチマークには12のオブジェクトカテゴリが含まれており、3つの評価モード（珍しいオブジェクト、空間的／外観的属性、隠れたオブジェクト）を備える。
• Habitat、RoboTHOR、Pastureの3つの環境で評価が実施され、合計で90,000件を超えるナビゲーションエピソードが使用された。

実験結果

リサーチクエスチョン

• RQ1 CLIPのようなオープンボリュームモデルを、微調整なしでゼロショット言語駆動型オブジェクトナビゲーションに効果的に活用できるか？
• RQ2 CLIPベースのモデルは、トレーニング時に見なかった珍しい、属性ベースの、または隠れたオブジェクトに対してどの程度一般化できるか？
• RQ3 ゼロショットCoWベースラインと、教師ありの最先端ZSON手法との間には、ナビゲーション効率と成功確率の面でどの程度の性能差があるか？
• RQ4 複雑で干渉要因の多い環境において、視覚言語モデルが言語記述をどの程度効果的に活用できるか？
• RQ5 異なるプロンプティング戦略、バックボーン、後処理戦略が、CoWのナビゲーション性能にどのように影響を与えるか？

主な発見

• CLIPベースの局在と古典的探索を組み合わせた単純なCoWベースラインが、Habitat MP3Dで5億ステップの訓練を経た最先端ZSON手法と同等のナビゲーション効率（SPL）を達成した。
• 同じCoWベースラインが、先行するRoboTHOR ZSONモデルよりも15.6ポイントの成功率向上を達成し、強力なゼロショット一般化性能を示した。
• CoWベースラインは珍しいオブジェクト（例：Pastureにおける「ホワイトボード」で63.3％の成功率）においても高い性能を示し、分布外カテゴリに対しても頑健であることがわかった。
• 干渉要因が存在する環境では性能が著しく低下（例：「マグ」の成功率は干渉なしで33.3％、干渉ありで20.0％）し、属性記述の活用能力に限界があることが示された。
• 属性付きの再マップされたクラスを扱う際にもモデルの性能が低下し、細分化された言語理解の限界が裏付けられた。
• CLIP-PatchとCLIP-Grad.は、OWLに比べてオブジェクト局在失敗率が高かったため、プロンプティング設計や適応手法が信頼性に与える影響が明確に示された。