[論文レビュー] Bridging Zero-shot Object Navigation and Foundation Models through Pixel-Guided Navigation Skill

Wenzhe Cai, Siyuan Huang+5 more|arXiv (Cornell University)|Sep 19, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、基礎モデルとゼロショットオブジェクトナビゲーションを橋渡しする純粋なRGBベースのナビゲーション方策、ピクセル誘導ナビゲーション（PixNav）を提案する。ピクセルをゴール仕様として用いることで、多様で低コストかつ汎用的なロボットナビゲーションを実現する。PixNavは局所的経路計画で80%以上の成功率を達成し、LLMベースのプランナと組み合わせることで、深度センシングや地図ベースの計画を必要とせずに、シミュレーテッドおよび実世界環境における有効な長距離ナビゲーションを可能にする。

ABSTRACT

Zero-shot object navigation is a challenging task for home-assistance robots. This task emphasizes visual grounding, commonsense inference and locomotion abilities, where the first two are inherent in foundation models. But for the locomotion part, most works still depend on map-based planning approaches. The gap between RGB space and map space makes it difficult to directly transfer the knowledge from foundation models to navigation tasks. In this work, we propose a Pixel-guided Navigation skill (PixNav), which bridges the gap between the foundation models and the embodied navigation task. It is straightforward for recent foundation models to indicate an object by pixels, and with pixels as the goal specification, our method becomes a versatile navigation policy towards all different kinds of objects. Besides, our PixNav is a pure RGB-based policy that can reduce the cost of home-assistance robots. Experiments demonstrate the robustness of the PixNav which achieves 80+% success rate in the local path-planning task. To perform long-horizon object navigation, we design an LLM-based planner to utilize the commonsense knowledge between objects and rooms to select the best waypoint. Evaluations across both photorealistic indoor simulators and real-world environments validate the effectiveness of our proposed navigation strategy. Code and video demos are available at https://github.com/wzcai99/Pixel-Navigator.

研究の動機と目的

• 地図ベースの計画や深度センシングを不要にするという挑戦に応えること。
• 明示的な意味的アノテーションを必要とせず、多様なオブジェクトに一般化可能なユニバーサルなRGBベースのナビゲーション方策を開発すること。
• LLMプランナを用いた階層的方策により、未確認の環境における長距離ナビゲーションを可能にすること。
• オブジェクトレベルのアノテーションではなくピクセルレベルの監視を活用することで、データ収集コストを削減すること。
• カメラ設定の変化や実世界への展開において、ナビゲーション方策の頑健性を検証すること。

提案手法

• 任意のオブジェクトピクセルをゴールとみなすピクセル誘導ナビゲーション方策（PixNav）を提案し、未確認のオブジェクトに対してもゼロショット一般化を可能にする。
• 市販の3次元座標推定を用いて、ピクセルゴールを3次元ウェイポイントに変換し、ポイントゴールナビゲーションを用いたデータセット収集を実現する。
• トラッキング予測、時系列的距離予測、ゴール融合を備えたトランスフォーマー基盤のポリシー・ネットワークを設計し、長距離ナビゲーションの安定性を向上させる。
• 常識的知識を活用して部屋をまたがる階層的計画を実行するため、大規模言語モデル（LLM）にステップバイステップのプロンプトテンプレートを統合する。
• 明示的なオブジェクトラベルを一切含まない、多様なオブジェクト領域から収集した大規模なピクセルアノテート済みトラジェクトリを用いて、PixNavポリシーをエンドツーエンドで訓練する。
• 標準的なRGBカメラからのRGB観測のみを用いて、シミュレーションから実世界への転送を実現し、深度センシングや位置特定依存性を回避する。

実験結果

リサーチクエスチョン

• RQ1 純粋なRGBベースのナビゲーション方策は、多様なオブジェクトやカメラ設定において高い一般化性と頑健性を達成できるか？
• RQ2 地図ベースの計画を必要とせず、ピクセルレベルのゴール指定が基礎モデルと実体的ナビゲーションを効果的に橋渡しできるか？
• RQ3 構造化されたプロンプトを用いたLLMベースのプランナは、未確認の環境における有効な長距離ナビゲーションを可能にするか？
• RQ4 カメラの高さや視野角の分布シフトに対して、PixNavポリシーはどのように性能を維持するか？
• RQ5 長距離ナビゲーション（3–5m）において、性能を維持するために最も重要な要因は何か？
• RQ6 LLMの空間的推論能力は、部屋の局所化や環境マップ作成においてどの程度の水準に達するか？

主な発見

• HM3Dシミュレータにおける1–3mナビゲーションタスクで、88%の成功率（SR）と88%のSPLを達成し、強力な局所的経路計画性能を示した。
• カメラ設定の多様性にわたって一般化し、カメラ高さが50%変化しても70%以上の成功率を維持した。また、水平視野角（HFOV）が25%変化しても同様の性能を発揮した。
• アブレーションスタディの結果、トラッキング予測とゴール統合が長距離ナビゲーション（3–5m）において極めて重要であることが判明。成功率は0.34から0.42に向上した。
• LLMプランナは部屋局所化で68.4%の正確性、部屋クラスタリングで47.1%の正確性を達成し、測定可能な空間的推論能力を示した。
• iRobot Create3ロボットを用いた実世界への展開でも、RGB入力のみで成功した。シミュレーションから実世界への一般化が妥当であることを実証した。
• 意味的アノテーションの必要性を排除することで、ピクセルレベルの監視を活用した大規模なトラジェクトリ生成が可能になり、データ収集コストが削減された。