[論文レビュー] Evolving Graphical Planner: Contextual Global Planning for Vision-and-Language Navigation

Zhiwei Deng, Karthik Narasimhan+1 more|arXiv (Cornell University)|Jul 11, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 14

ひとこと要約

本稿では、生のセンシング入力をもとに動的にグラフィカルマップを構築し、スケーラブルなプロキシグラフ表現を介してグローバル計画を実行する、ビジョンアンドランゲージナビゲーションエージェントであるEvolving Graphical Planner（EGP）を提案する。純粋な模倣学習を用いることで、EGPは部分観測下の複雑な3次元環境において、強化学習を用いずに柔軟で文脈に適応した意思決定と効率的な長距離計画を可能にし、Room-to-Roomのテストスプリットで53%の成功率を達成した。これは先行手法よりも5ポイント高い性能である。

ABSTRACT

The ability to perform effective planning is crucial for building an instruction-following agent. When navigating through a new environment, an agent is challenged with (1) connecting the natural language instructions with its progressively growing knowledge of the world; and (2) performing long-range planning and decision making in the form of effective exploration and error correction. Current methods are still limited on both fronts despite extensive efforts. In this paper, we introduce the Evolving Graphical Planner (EGP), a model that performs global planning for navigation based on raw sensory input. The model dynamically constructs a graphical representation, generalizes the action space to allow for more flexible decision making, and performs efficient planning on a proxy graph representation. We evaluate our model on a challenging Vision-and-Language Navigation (VLN) task with photorealistic images and achieve superior performance compared to previous navigation architectures. For instance, we achieve a 53% success rate on the test split of the Room-to-Room navigation task through pure imitation learning, outperforming previous navigation architectures by up to 5%.

研究の動機と目的

• 部分観測下における長距離で文脈に適応した計画の課題に取り組む。
• 複雑で未知の3次元環境において、局所的制御方策やルールベースの探索アルゴリズムの限界を克服する。
• スケーラブルでエンドツーエンド微分可能なフレームワークを用いて、効果的なグローバルアクション選択とエラー訂正を可能にする。
• 強化学習を回避しつつ、模倣学習とグラフ補強された監視を用いて高い性能を維持するトレーニングパラダイムを開発する。
• 完全なトポロジカルマップではなくプロキシグラフ上で動作するメモリ効率の良い計画メカニズムを設計し、計算コストを低減する。

提案手法

• オンライン探索中に訪問済み状態の離散的記号と未探索アクションを用いて、環境のグラフィカルマップを動的に構築する。
• 時間的・メモリ的コストが高いため、完全なマップの代わりに局所的近似としてのプロキシグラフを導入し、スケーラブルな計画を可能にする。
• 自然言語指示に基づき、文脈に適応した豊富なアクション空間から行動を選択するグローバル計画モジュールを採用する。
• 最短経路監視ではなく、グラフ補強された監視を用いた模倣学習により、ポリシーをエンドツーエンドで訓練する。
• 長距離依存性をモデル化するため、学習可能なグラフ次元（256）とマルチヘッドアテンションを用いたtop-Kアクション選択戦略を適用する。
• ナビゲーション中にバックトラッキングやコース補正をサポートする、進化を続けるグラフ表現を維持する。

実験結果

リサーチクエスチョン

• RQ1 ビジョンアンドランゲージナビゲーションエージェントは、生の視覚入力と自然言語指示のみを用いて、効果的なグローバル計画を実行できるか？
• RQ2 リアルタイムナビゲーションにおいて、動的に成長する大規模なマップに対して、スケーラブルで効率的な計画メカニズムをどのように設計できるか？
• RQ3 強化学習やトポロジカル構造への事前学習なしに、模倣学習のみで高いグローバル計画性能を達成できるか？
• RQ4 プロキシグラフと完全なトポロジカルマップの両者を比較した場合、計画効率とナビゲーション成功にどのような影響を与えるか？
• RQ5 グラフ補強された監視は、ナビゲーションタスクにおける一般化性能とエキスパート軌道との整合性をどのように向上させるか？

主な発見

• EGPは、純粋な模倣学習のみを用いてRoom-to-Roomのテストスプリットで53%の成功率を達成し、先行手法よりも最大5ポイント高い性能を示した。
• Room-for-Roomベンチマークでは、CLSスコア44.4、nDTW 37.4、SDTW 17.5を記録し、忠実度指向の指標で全手法を4.9～7.0ポイント上回った。
• グローバル計画を採用しているにもかかわらず、比較的短い経路長（18.3）を維持しており、ルールベースのグローバル探索アルゴリズムで一般的に見られる長距離経路を回避した。
• アブレーションスタディの結果、グラフ補強された監視とプロキシグラフの使用は、最短経路監視や全グラフ計画に比べて顕著に性能向上をもたらした。
• EGPは、強化学習を用いない純粋な模倣学習にもかかわらず、スピーカーフォロワー（Speaker-Follower）やPTAエージェントなどの最先端モデルを上回った。
• エンドツーエンドの訓練によりグローバルアクション空間と動的グラフィカル表現を統合することで、頑健なエラー訂正と長距離推論が可能であることが示された。