[論文レビュー] FGPrompt: Fine-grained Goal Prompting for Image-goal Navigation

Xinyu Sun, Peihao Chen+4 more|arXiv (Cornell University)|Oct 11, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

FGPromptは、画像ゴールナビゲーションのための細分化されたゴールプロンプティング手法を提案する。この手法は、ゴール画像の高解像度で中間的な特徴マップをプロンプトとして用いることで、観測エンコーダーの条件付けを向上させ、性能を向上させる。FiLMベースのミッドフュージョンまたはイ早融合を用いることで、ゴール関連領域への注目を強化し、Gibsonデータセットで90.4%の成功率を達成した。これはSOTA手法の1/50のモデルサイズで達成された。

ABSTRACT

Learning to navigate to an image-specified goal is an important but challenging task for autonomous systems. The agent is required to reason the goal location from where a picture is shot. Existing methods try to solve this problem by learning a navigation policy, which captures semantic features of the goal image and observation image independently and lastly fuses them for predicting a sequence of navigation actions. However, these methods suffer from two major limitations. 1) They may miss detailed information in the goal image, and thus fail to reason the goal location. 2) More critically, it is hard to focus on the goal-relevant regions in the observation image, because they attempt to understand observation without goal conditioning. In this paper, we aim to overcome these limitations by designing a Fine-grained Goal Prompting (FGPrompt) method for image-goal navigation. In particular, we leverage fine-grained and high-resolution feature maps in the goal image as prompts to perform conditioned embedding, which preserves detailed information in the goal image and guides the observation encoder to pay attention to goal-relevant regions. Compared with existing methods on the image-goal navigation benchmark, our method brings significant performance improvement on 3 benchmark datasets (i.e., Gibson, MP3D, and HM3D). Especially on Gibson, we surpass the state-of-the-art success rate by 8% with only 1/50 model size. Project page: https://xinyusun.github.io/fgprompt-pages

研究の動機と目的

• エージェントが参照画像に基づいてゴールを特定する画像ゴールナビゲーションの課題に対処すること。
• 既存手法がゴール画像の細分化された詳細を失い、観測エンコーディングをゴールの文脈で条件付けできないという限界を克服すること。
• ゴールに依存する特徴変調を可能にすることで、エージェントが観測画像内のゴール関連領域に注目できるようにし、ナビゲーション性能を向上させること。
• 計算リソースが限られた実世界のロボットに適した、パラメータ効率的で汎用性の高いアーキテクチャを設計すること。

提案手法

• ゴール画像の高解像度で中間的な特徴マップを細分化されたプロンプトとして活用し、観測エンコーディングをガイドすること。
• FiLMレイヤーを用いたミッドフュージョンドメカニズムを実装し、アフィン変換を適用することで、観測エンコーダーをゴール特徴で条件づけること。
• ピクセルレベルでゴール画像と観測画像を連結するイ早融合バージョン（FGPrompt-EF）を設計し、特徴の暗黙的交換を実現すること。
• イ早融合構成では、ゴールと観測特徴を最初から共同でモデル化できる共通のResNetベースのエンコーダーを採用すること。
• 注目度のシフトを分析するためにEigenCAM可視化を適用し、エージェントがゴールに近づく前でもゴール関連の物体に注目していることを確認すること。
• パラメータ数を最小限に抑えつつパフォーマンスを最大化する最適化により、リソース制限のあるロボットへのデプロイを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 ゴール画像から得られる細分化された高解像度特徴は、観測画像内の注目をガイドすることでナビゲーション精度を向上させることができるか？
• RQ2 FiLMレイヤーによるゴールに依存する特徴変調は、複雑な環境下で関連する物体を特定する能力にどのように影響するか？
• RQ3 共同モデリングを用いたイ早融合は、ミッドフュージョンに比べて、効率性および未学習環境への一般化性能で優れているか？
• RQ4 提案されたプロンプティング機構は、画像ゴールナビゲーションを超えて、視覚的リアレンジメントなどの他のエンベデッドAIタスクにも一般化可能か？
• RQ5 モデルサイズの縮小がパフォーマンスに与える影響はどの程度か？また、小さなモデルでも画像ゴールナビゲーションでSOTAの結果を達成できるか？

主な発見

• FGPromptはGibsonデータセットで90.4%の成功率を達成し、前回のSOTAを8%上回ったが、モデルサイズはSOTA手法の1/50にとどまった。
• ミッドフュージョントランスフォーマント（FGPrompt-MF）は、カメラパrameterの不一致がある状況でもイ早融合よりも一般化性能が優れており、より強いインダクティブバイアスを示している。
• イ早融合バージョン（FGPrompt-EF）は、より単純なアーキテクチャで競争力のあるパフォーマンスを達成し、極めてパラメータ効率的である。
• ai2thor-rearrangementチャレンジでは、FGPrompt-EFはベースライン比で400%の相対的改善を示し、視覚的リアレンジメントへの移植性を実証した。
• 可視化結果から、エージェントがゴールに遠く離れていても、ゴール関連領域（例：キッチンカウンター）に的確に注目していることが確認された。
• 本手法は、学習済み（Gibson）および未学習環境（MP3D, HM3D）の両方で強力な一般化性能を維持しており、堅牢な一般化性を示している。