[論文レビュー] Topological Planning with Transformers for Vision-and-Language Navigation

Kevin Chen, Junshen K. Chen+3 more|arXiv (Cornell University)|Dec 9, 2020

Multimodal Machine Learning Applications参考文献 50被引用数 12

ひとこと要約

本論文は、トポロジカルマップ上で解釈可能なナビゲーション計画を生成するトランスフォーマー基盤のクロスモーダルアテンション機構を用いたモジュラービジョンアンドランゲージナビゲーションシステムを提案する。この手法は、見慣れない環境を含め、エンドツーエンド手法を著しく上回る性能を発揮する。本アプローチは計画と制御を分離することで、バックトラッキングなどの知能的な行動をサポートする低レベル制御装置を介して、強固な実行を可能にする。

ABSTRACT

Conventional approaches to vision-and-language navigation (VLN) are trained end-to-end but struggle to perform well in freely traversable environments. Inspired by the robotics community, we propose a modular approach to VLN using topological maps. Given a natural language instruction and topological map, our approach leverages attention mechanisms to predict a navigation plan in the map. The plan is then executed with low-level actions (e.g. forward, rotate) using a robust controller. Experiments show that our method outperforms previous end-to-end approaches, generates interpretable navigation plans, and exhibits intelligent behaviors such as backtracking.

研究の動機と目的

• 自由に移動可能な環境におけるエンドツーエンドビジョンアンドランゲージナビゲーション（VLN）モデルの限界を克服すること。
• 非構造的なメモリではなく、構造的なトポロジカルマップを活用することで、ナビゲーションのロバスト性と解釈可能性を向上させること。
• 言語と空間的トポロジカル表現の間のクロスモーダルアテンションをモデル化することで、自然言語指示に基づく効果的な計画を可能にすること。
• ハイレベルな計画とローレベルな制御を分離することで、パフォーマンスと故障耐性を向上させるモジュラーシステムを構築すること。
• トポロジカルマップとトランスフォーマーの組み合わせが、バックトラッキングやパス補正などの知的行動を可能にすることを実証すること。

提案手法

• 本システムはクロスモーダルトランスフォーマーを用い、自然言語指示とトポロジカルマップに基づいてナビゲーション計画として一連のトポロジカルマップノードを予測する。
• プランナは、指示の関連部分と対応する空間的領域に注目することで、記号的計画を生成する。
• ナビゲーション計画は、低レベルの離散的アクション（例：前進、回転）を用い、過去のノード履歴を保持する強固なローカルコントローラによって実行される。
• トポロジカルマップはエージェントが自由に探索した後に構築され、場所をノード、接続関係をエッジとして表すグラフとして表現される。
• コントローラは現在のノードと直前のノードを入力として用いることで、計画された経路から逸脱した際にバックトラッキングを可能にする。
• 本システム全体はVLN-CEデータセットを用いて評価され、成功確率（SR）、SPL、およびコントローラ／プランナの成功（CS/PS）によって性能が測定される。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のプランナは、自然言語指示からトポロジカルマップ上で解釈可能なナビゲーション計画を効果的に生成できるか？
• RQ2 エンドツーエンドVLNモデルと比較して、トポロジカルマップを用いたモジュラーアプローチは、自由移動環境におけるナビゲーションパフォーマンスを向上させるか？
• RQ3 エージェントが計画された経路から逸脱した場合、コントローラはバックトラッキングなどのロバストな行動を学習できるか？
• RQ4 トポロジカルマップの使用は、VLNにおける探索空間をどのように縮小し、計画の効率を向上させるか？
• RQ5 言語と空間的構造の間のクロスモーダルアテンションは、計画の正確性をどの程度向上させるか？

主な発見

• CMTPモデルは、VLN-CEベンチマークにおいて、見慣れない環境で37.9%、未確認環境で36.3%の成功確率を達成し、エンドツーエンドVLN-CEベースラインを上回った。
• CMTPモデルは、未確認環境でSPL（経路長に重み付けされた成功確率）56.2%を達成し、エンドツーエンドベースラインと比べて顕著に高い水準であった。
• コントローラは、未確認環境でさえも、ランダムな計画の実行において80%を超える高い成功確率を達成し、強固な低レベル制御を示した。
• コントローラの入力に直前のノードを含めることで、ナビゲーションエラーからの回復が可能となり、バックトラッキング行動が実現された。
• トポロジカルマップとクロスモーダル計画を組み合わせたモジュラーシステムは、エンドツーエンドモデルと比較して優れたパフォーマンスを発揮した。特に未確認環境において顕著な優位性を示した。
• 定性的な結果から、エージェントがプールテーブルからソファーへ直接移動する計画を効果的に実行しており、迂回を避ける行動が確認された。