[論文レビュー] Instance-Specific Image Goal Navigation: Training Embodied Agents to Find Object Instances

Jacob Krantz, Stefan Lee+3 more|arXiv (Cornell University)|Nov 29, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、エージェントのセンサーとは無関係に、任意の視点やカメラパrameterから撮影されたゴール画像を用いて特定のオブジェクトインスタンスへナビゲートする必要がある、エマーブドAIのための新ベンチマークであるInstance-Specific Image Goal Navigation (InstanceImageNav) を導入する。このタスクでは、HM3D環境におけるオブジェクトインスタンスの焦点を当てた高カバレージの画像を用い、モデルフリーの強化学習ベースラインはわずか5.5%の成功率にとどまり、タスクの難易度の高さと今後の研究の必要性を示している。

ABSTRACT

We consider the problem of embodied visual navigation given an image-goal (ImageNav) where an agent is initialized in an unfamiliar environment and tasked with navigating to a location 'described' by an image. Unlike related navigation tasks, ImageNav does not have a standardized task definition which makes comparison across methods difficult. Further, existing formulations have two problematic properties; (1) image-goals are sampled from random locations which can lead to ambiguity (e.g., looking at walls), and (2) image-goals match the camera specification and embodiment of the agent; this rigidity is limiting when considering user-driven downstream applications. We present the Instance-specific ImageNav task (InstanceImageNav) to address these limitations. Specifically, the goal image is 'focused' on some particular object instance in the scene and is taken with camera parameters independent of the agent. We instantiate InstanceImageNav in the Habitat Simulator using scenes from the Habitat-Matterport3D dataset (HM3D) and release a standardized benchmark to measure community progress.

研究の動機と目的

• 既存のImageNavベンチマークに標準化と現実性の欠如があることに対処する。特に、ランダムに抽出された曖昧な画像ゴールが多く用いられている点。
• 画像ゴールをエージェントのセンサーや身体的特性に束縛することによる制限を克服する。これにより、現実世界への応用可能性が向上する。
• 自然で文脈豊かなビューから特定のオブジェクトインスタンスに焦点を当てたゴール画像を用いることで、タスクの明確さと応用の関連性を向上させる。
• 標準化されたベンチマークと公開リーダーボードを整備し、インスタンス固有の視覚的ナビゲーション分野における公平な評価とコミュニティの進展を促進する。
• 訓練用に700万エピソード、検証用に2,340エピソードを含む大規模なエピソードデータセットをリリースし、ナビゲーションポリシーの訓練と評価を可能にする。

提案手法

• ゴール画像は、オブジェクトインスタンスの周囲を半径方向にサンプリングしたカメラの視点から生成され、オブジェクトカバレッジとフレームカバレッジの閾値を設定することで、明確で自然なビューを保証する。
• タスクは、HM3DセマンティックセグメンテーションがアノテートされたHM3Dシーンを用いて、Habitat-Sim環境で実装される。
• 開始ポーズは、有限の地図距離パスと非自明なナビゲーションを保証するための拒否サンプリングによりサンプリングされ、地図距離とユークリッド距離の比が1.05以上であることを最低限とする。
• モデルフリーの強化学習ベースラインは、PPOを用いて訓練され、RGB、深度、ゴール画像の特徴を処理する2ストリームのResNet-18エンコーダー、LSTMベースのメモリとアクションヘッドを備える。
• RGB、深度、ゴール画像、GPS、ヘディングの特徴が連結され、その後2層のLSTMを通過してアクション予測が行われる。
• 評価用に、最短パス長、地図距離、有効なビューのリストなどのメタデータをベンチマークに含める。

実験結果

リサーチクエスチョン

• RQ1 エージェントのセンサーや身体的特性から画像ゴール仕様を分離することで、視覚的ナビゲーションの現実世界への応用性がどの程度向上するか？
• RQ2 ランダムに抽出された画像ゴールと比較して、焦点を当てたインスタンス固有のゴール画像は、曖昧さをどの程度低減するか？
• RQ3 現実的で構造のない環境において、現在のエンドツーエンドの強化学習手法がインスタンス固有の画像ゴールナビゲーションで達成できる性能の上限は何か？
• RQ4 提案されたベンチマークは、異なるナビゲーション手法間での公平で標準化された評価をどのように可能にするか？
• RQ5 インスタンス固有の画像ゴールで訓練されたポリシーが、未観測の環境へ一般化するにあたり、主な課題は何か？

主な発見

• 提案されたInstanceImageNavベンチマークは、特定のオブジェクトインスタンスに焦点を当てたゴール画像を用いることで、ランダムに抽出された画像ゴールと比較して曖昧さが顕著に低減されている。
• ゴール画像はエージェントのセンサーとは独立したカメラパラメータで撮影されており、ユーザー主導の応用において柔軟性と現実性が向上している。
• ベンチマークは、セマンティックアノテーションが施されたHM3Dシーンを用いたHabitat-Sim環境で実装されており、現実的で多様なナビゲーションタスクを可能にしている。
• モデルフリーのRLベースラインは検証スプリットで5.5%の成功率と2.3%のSPLを達成しており、改善の余地が著しくあることが示された。
• トレーニングスプリットには7,032,000エピソード、検証スプリットには2,340エピソードが含まれており、評価と研究に適した大規模データセットが提供されている。
• EvalAI上で公開リーダーボードをリリースする予定であり、これによりインスタンス固有の視覚的ナビゲーション分野における評価の標準化と進展の加速が期待される。