[論文レビュー] Last-Mile Embodied Visual Navigation

Justin Wasserman, Karmesh Yadav+3 more|arXiv (Cornell University)|Nov 21, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文は、ニューラル記述子を用いて幾何的構造を活用する、スイッチ可能なラストマイル視覚ナビゲーションシステムSLINGを提案する。既存の探索方針とシームレスに統合されることで、AI Habitatベンチマーク上での成功確率を45%から55%まで向上させ、3つの物理的環境においても実ロボット実験で優れた汎用性を示した。

ABSTRACT

Realistic long-horizon tasks like image-goal navigation involve exploratory and exploitative phases. Assigned with an image of the goal, an embodied agent must explore to discover the goal, i.e., search efficiently using learned priors. Once the goal is discovered, the agent must accurately calibrate the last-mile of navigation to the goal. As with any robust system, switches between exploratory goal discovery and exploitative last-mile navigation enable better recovery from errors. Following these intuitive guide rails, we propose SLING to improve the performance of existing image-goal navigation systems. Entirely complementing prior methods, we focus on last-mile navigation and leverage the underlying geometric structure of the problem with neural descriptors. With simple but effective switches, we can easily connect SLING with heuristic, reinforcement learning, and neural modular policies. On a standardized image-goal navigation benchmark (Hahn et al. 2021), we improve performance across policies, scenes, and episode complexity, raising the state-of-the-art from 45% to 55% success rate. Beyond photorealistic simulation, we conduct real-robot experiments in three physical scenes and find these improvements to transfer well to real environments.

研究の動機と目的

• 目標発見後の不正確なラストマイルナビゲーションが引き起こす、画像ゴールナビゲーションにおける重要な性能ボトルネックを解消すること。
• キーポoin対応に基づく幾何的推論に、非構造的な局所方針を置き換えることで、耐性とサンプル効率を向上させること。
• 探索と幾何的精錬を分離することで、多様なナビゲーション方針、環境、実世界設定における汎用性を可能にすること。
• 幾何的事前知識が、データおよびサンプル効率の制約下でも、最終段階のナビゲーションにおいてエンドツーエンドで学習された方針を顕著に上回ることを示すこと。

提案手法

• SLINGは、探索中に目標画像が視覚的に検出された段階で、幾何的ナビゲーションを有効化するスイッチ可能なメカニズムを導入する。
• エージェントの現在の観測と目標画像間の2次元-3次元対応関係を用いて、エージェントの目標に対する相対ポーズを推定するため、PnP（Perspective-n-Point）定式化を採用する。
• エージェントの視界と目標画像間のキーポイント特徴を抽出・一致させるために、ニューラル記述子を用いることで、堅牢な対応関係推定を実現する。
• エージェントは、目標の視覚的検出に基づいて、学習済み探索方針と幾何的ラストマイル方針の間で動的に切り替わる。
• 距離および対応関係のしきい値を用いて、エージェントが十分に目標に近づいたと判断された段階で、幾何的制御に切り替えるタイミングを決定する。
• この手法はモジュラーであり、ヒューリスティック、強化学習、ニューラルモジュラー方針と両立可能で、広範な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習された方針と比較して、幾何的推論が画像ゴールタスクにおけるラストマイルナビゲーション性能を顕著に向上させることができるか？
• RQ2 幾何的ラストマイルシステムの統合が、多様なナビゲーション方針と環境において一貫した性能向上をもたらすか？
• RQ3 純粋に学習された方針と比較して、SLINGは実世界のロボットデプロイメントにおいて、どの程度一般化性と耐性を向上させるか？
• RQ4 パノラマ型観測と非パノラマ型観測を用いた場合、SLINGのパフォーマンスおよび異なる方針との統合にどのような影響を与えるか？

主な発見

• SLINGは、AI Habitatの画像ゴールナビゲーションベンチマーク（Gibson-curvedスプリット）における最先端の成功確率を、45%から54.8%まで向上させ、同時に発表されたプレプリントと比較して9.2%の相対的改善を達成した。
• 1ステップの「ストップ」アクション予算を設けた場合、ベースライン方針の成功確率が28%から51%まで上昇し、ラストマイルの誤差が主な失敗要因であることが示された。
• 3つの物理的シーンにおける実ロボット実験では、実世界データで学習したニューラルモジュラー方針よりも、SLINGが顕著にナビゲーションパフォーマンスを向上させた。
• パノラマ画像を用いたOVRL-GDと組み合わせた場合、SLINGはGibson-curvedパノラマデータセットにおいて、新しい最先端の成功確率78.6%とSPL 60.4%を達成した。
• ヒューリスティック、強化学習、モジュラーニューラル方針を含む、さまざまな方針タイプに対して、SLINGは一貫した向上を示し、エピソードの難易度レベルに関わらず効果を発揮した。
• SLINGはセンサーノイズや部分的遮断に対しても耐性を示し、ノイズのある深度情報やポーズ推定の条件下でも、性能が維持された。