[論文レビュー] Towards Versatile Embodied Navigation

Hanqing Wang, Wei Liang+2 more|arXiv (Cornell University)|Oct 30, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、連続的で音声視覚に富んだ環境において、画像ゴール、音声ゴール、オブジェクトゴール、ビジョン・ランゲージナビゲーションの4つのマルチモーダルナビゲーションタスクをサポートする大規模な3DデータセットVXNを紹介する。また、全アテンション機構を用いた統一されたパース・アンド・クエリフレームワークを通じて、すべてのタスクを同時に学習する包括的で柔軟な身体的エージェントViennaを提案し、タスク特化型エージェントと同等またはそれ以上の性能を達成しながら、モデルの複雑さを低減し一般化性能を向上させた。

ABSTRACT

With the emergence of varied visual navigation tasks (e.g, image-/object-/audio-goal and vision-language navigation) that specify the target in different ways, the community has made appealing advances in training specialized agents capable of handling individual navigation tasks well. Given plenty of embodied navigation tasks and task-specific solutions, we address a more fundamental question: can we learn a single powerful agent that masters not one but multiple navigation tasks concurrently? First, we propose VXN, a large-scale 3D dataset that instantiates four classic navigation tasks in standardized, continuous, and audiovisual-rich environments. Second, we propose Vienna, a versatile embodied navigation agent that simultaneously learns to perform the four navigation tasks with one model. Building upon a full-attentive architecture, Vienna formulates various navigation tasks as a unified, parse-and-query procedure: the target description, augmented with four task embeddings, is comprehensively interpreted into a set of diversified goal vectors, which are refined as the navigation progresses, and used as queries to retrieve supportive context from episodic history for decision making. This enables the reuse of knowledge across navigation tasks with varying input domains/modalities. We empirically demonstrate that, compared with learning each visual navigation task individually, our multitask agent achieves comparable or even better performance with reduced complexity.

研究の動機と目的

• 複雑な3D環境におけるマルチタスクでマルチモーダルな身体的ナビゲーションのための統一されたベンチマークの欠如に対処すること。
• 画像ゴール、音声ゴール、オブジェクトゴール、ビジョン・ランゲージナビゲーションの複数のナビゲーションタスクを同時に習得できる1つのエージェントの開発。
• 身体的AIにおけるマルチタスク学習を通じて、クロスタスク知識移行を探索し、モデルの複雑さを低減すること。
• 長時間にわたるナビゲーションにおけるマルチモーダルセンシングと統一的クエリベース推論の有効性を調査すること。
• 1つの包括的エージェントが、多様なナビゲーションモダリティにおいて、特化型エージェントを上回るか同等の性能を発揮できることを実証すること。

提案手法

• 連続的で知覚的に豊かで音響的に現実的な屋内環境において、4つの古典的ナビゲーションタスクを標準化する大規模な3DデータセットVXNを提案する。
• マルチセンサ入力とエピソード履歴を同時に統合するフルアテンション機構を備えたTransformerエンコーダ・デコーダアーキテクチャに基づく、包括的で柔軟な身体的ナビゲーションエージェントViennaを設計する。
• 統一されたパース・アンド・クエリメカニズムを導入：ターゲット記述（画像、音声、テキスト、分類）はタスク固有のベクトルで埋め込み、多様化されたゴールクエリに解析される。
• これらのクエリを用いてエピソード履歴から支援的コンテキストを検索する共通デコーダを採用し、異なるモダリティ間でクロスタスク知識の再利用を可能にする。
• 成功、進行度、スラック、探索を統合した複合報酬関数を用いたマルチタスク学習目的関数を採用し、ポリシー学習をガイドする。
• タスク固有の理解を強化し一般化性能を向上させるために、4つの学習可能タスク埋め込み（τ_I, τ_A, τ_T, τ_L）をターゲット埋め込みに追加する。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワーク内で、1つのエージェントが同時に複数の視覚ナビゲーションタスク（画像ゴール、音声ゴール、オブジェクトゴール、ビジョン・ランゲージナビゲーション）を習得できるか？
• RQ2 マルチタスク身体的ナビゲーションにおけるクロスタスク知識移行は、パフォーマンス向上とモデル複雑さの低減にどの程度効果的か？
• RQ3 マルチモーダルセンシング（RGBD＋音声）は、単一モーダル入力と比較して、ナビゲーションパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 多様化されたゴールベクトルを用いた提案されたパース・アンド・クエリメカニズムは、タスク間での推論と一般化をどの程度向上させるか？
• RQ5 複数のタスクを同時に学習させることで、既知および未知の環境における一般化性能が、個別タスクやサブセットで学習した場合と比較して向上するか？

主な発見

• Viennaは、すべての4つのナビゲーションタスクで最先端のパフォーマンスを達成し、未観測スプリットにおけるビジョン・ランゲージナビゲーションで26.5％の成功率を記録し、単一タスクモデルを上回った。
• マルチタスクエージェントは、モデルサイズを101Mパラメータから31Mパラメータに削減し、パラメータ共有による顕著な効率性向上を示した。
• マルチモーダル統合（RGBD＋音声）はパフォーマンスを顕著に向上させ、音声がナビゲーションの正確性を高める補完的ヒントを提供した。
• N=7のクエリヘッドを用いた多様化されたターゲットパースが最良のパフォーマンスを示し、同じゴールに対する複数の解釈が有効であることを確認した。
• アブレーションスタディにより、マルチセンサ統合、タスク補強埋め込み、多様化されたパース、複合報酬の各コンポーネントが全体のパフォーマンス向上に有意に寄与していることが確認された。
• 4つのタスクを同時に学習させることで、個別タスクやサブセットでの学習に比べ、未観測環境における一般化性能が顕著に向上した。