[論文レビュー] BEVBert: Multimodal Map Pre-training for Language-guided Navigation

Dong An, Yuankai Qi+5 more|arXiv (Cornell University)|Dec 8, 2022

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本論文は、視覚・言語ナビゲーションのための新しいマップベースの事前学習フレームワーク、BEVBertを提案する。このフレームワークは、局所的なメトリックマップとグローバルなトポロジカルマップのハイブリッドを用いて、空間認識に優れたクロスモodal推論を実現する。オフラインで生成されたハイブリッドマップとマップ予測プロキシタスクを活用することで、R2R、R2R-CE、RxR、REVERIEの4つのVLNベンチマークで最先端の性能を達成し、R2Rのテスト未学習スプリットで73%の成功率を記録した。

ABSTRACT

Large-scale pre-training has shown promising results on the vision-and-language navigation (VLN) task. However, most existing pre-training methods employ discrete panoramas to learn visual-textual associations. This requires the model to implicitly correlate incomplete, duplicate observations within the panoramas, which may impair an agent's spatial understanding. Thus, we propose a new map-based pre-training paradigm that is spatial-aware for use in VLN. Concretely, we build a local metric map to explicitly aggregate incomplete observations and remove duplicates, while modeling navigation dependency in a global topological map. This hybrid design can balance the demand of VLN for both short-term reasoning and long-term planning. Then, based on the hybrid map, we devise a pre-training framework to learn a multimodal map representation, which enhances spatial-aware cross-modal reasoning thereby facilitating the language-guided navigation goal. Extensive experiments demonstrate the effectiveness of the map-based pre-training route for VLN, and the proposed method achieves state-of-the-art on four VLN benchmarks.

研究の動機と目的

• 既存のVLN事前学習手法が離散的パノラマに依存する点に起因する、不完全で重複する視覚的観測による混乱を解消すること。
• 局所的メトリックマップとグローバルなトポロジカルマップを統合したハイブリッドマップ表現を導入することで、言語誘導ナビゲーションにおける空間的推論を向上させること。
• マップベースの事前学習パラダイムを新たに導入し、言語指示と視覚的シーンの間のクロスモーダル整合性を強化すること。
• 未観測領域の予測タスクを活用することで、ナビゲーション意思決定における不確実性を低減すること。

提案手法

• 大規模なVLN視覚パスからオフラインでハイブリッドマップを構築し、細粒度の空間的推論に適した局所的メトリックマップと長期計画に適したグローバルなトポロジカルマップを統合する。
• クロスモーダルトランスフォーマーを用いてマップと指示の相互作用を実行し、マルチモーダルマップ表現を学習する。
• 未観測領域を予測するためのプロキシタスクを導入し、言語的および空間的事前知識を組み込むことで、意思決定の不確実性を低減する。
• オンラインで構築されたハイブリッドマップを用いて順序付き行動予測によるファインチューニングを実施し、より優れたナビゲーション方策を向上させる。
• トポメトリックSLAMをインspiredしたハイブリッド設計を採用するが、より良い一般化を実現するため、学習可能なマルチモーダル表現を用いる。
• 大規模データでの事前学習を活用することで、未学習環境におけるゼロショット一般化性能と耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的メトリックマップとグローバルなトポロジカルマップを統合したハイブリッドマップ表現は、視覚・言語ナビゲーションにおける空間的推論を向上させることができるか？
• RQ2 未観測領域を予測するためのプロキシタスクを用いたマップベースの事前学習は、クロスモーダル整合性を向上させるとともに、ナビゲーションの不確実性を低減するか？
• RQ3 提案されたBEVBertフレームワークは、未学習環境に一般化可能であり、複数のVLNベンチマークで既存の事前学習手法を上回る性能を示せるか？
• RQ4 空間認識マップを用いる場合と、離散的パノラマに依存する事前学習手法とを比較した場合、ナビゲーション成功確率と耐障害性の面でどの程度差が生じるか？
• RQ5 マップ予測プロキシタスクは、VLNにおける長距離計画と短期的推論の両面で、どの程度性能向上に寄与するか？

主な発見

• BEVBertはR2Rのテスト未学習スプリットで73%の成功率を達成し、HATM（60%）やAirBert（59%）といった先行手法を上回った。
• R2R-CEベンチマークでは、テスト未学習スプリットで59%の成功率を記録し、既存のSOTA手法を大きく上回った。
• RxRデータセットでは54.2%のSDTWを達成し、未学習環境へのゼロショット一般化性能が優れたことを示した。
• REVERIEベンチマークでは52.81%のSRと36.41%のSPLを達成し、参照表現理解とナビゲーションの両面で優れた性能を示した。
• アブレーションスタディの結果、マップ予測プロキシタスクが、特に長距離ナビゲーションシナリオにおいて性能向上に顕著な寄与をしていることが確認された。
• R2Rにおける定性的な分析から、未学習環境における「早期失敗」や「曖昧さ」に起因する失敗ケースがBEVBertで顕著に減少していることが示された。