[論文レビュー] Active Visual Information Gathering for Vision-Language Navigation

Hanqing Wang, Wenguan Wang+3 more|arXiv (Cornell University)|Jul 15, 2020

Multimodal Machine Learning Applications参考文献 28被引用数 5

ひとこと要約

本論文は、曖昧な環境の不確実性を低減するために能動的に探索する能力を備えた、エンド・トゥ・エンドのアクティブなビジュアル情報収集フレームワークを、ビジョン・ランゲージナビゲーション（VLN）に対して提案する。エージェントが、何を、いつ、どこを探索すべきかを学習することで、ナビゲーションのロバスト性が向上し、シングルラン、プレエクスプロレーション、ビームサーチの3つの設定すべてにおいて、R2Rベンチマークで最先端のパフォーマンスを達成する。

ABSTRACT

Vision-language navigation (VLN) is the task of entailing an agent to carry out navigational instructions inside photo-realistic environments. One of the key challenges in VLN is how to conduct a robust navigation by mitigating the uncertainty caused by ambiguous instructions and insufficient observation of the environment. Agents trained by current approaches typically suffer from this and would consequently struggle to avoid random and inefficient actions at every step. In contrast, when humans face such a challenge, they can still maintain robust navigation by actively exploring the surroundings to gather more information and thus make more confident navigation decisions. This work draws inspiration from human navigation behavior and endows an agent with an active information gathering ability for a more intelligent vision-language navigation policy. To achieve this, we propose an end-to-end framework for learning an exploration policy that decides i) when and where to explore, ii) what information is worth gathering during exploration, and iii) how to adjust the navigation decision after the exploration. The experimental results show promising exploration strategies emerged from training, which leads to significant boost in navigation performance. On the R2R challenge leaderboard, our agent gets promising results all three VLN settings, i.e., single run, pre-exploration, and beam search.

研究の動機と目的

• 曇った指示と部分的観測の環境においてナビゲーションする課題に取り組み、既存のVLNエージェントでは信頼性が低く非効率なナビゲーションが生じることを解消すること。
• ナビゲーション意思決定の前に文脈的情報を収集できる、人間のインスピレーションを受けていたる能動的探索能力をエージェントに与えること。
• ナビゲーション意思決定に基づいて、いつ、どの方向に、どのように新しいビジュアル情報をもとにポリシーを更新すべきかを動的に決定する探索ポリシーを学習すること。
• 知的な情報収集により、見慣れた環境と見慣れない環境の両方で成功するように一般化性能を向上させること。
• 複数の評価設定において、R2R VLNベンチマークで優れたパフォーマンスを達成すること。

提案手法

• ナビゲーションポリシーに統合された、エンド・トゥ・エンドで学習可能な探索モジュールを導入する。
• エージェントが最大6ステップまで探索可能なマルチステップ探索戦略を採用し、ナビゲーション信頼度の不確実性に基づいて探索意思決定を行う。
• 視覚特徴を探索された方向から重みづけする微分可能アテンション機構を用い、それに基づいてナビゲーションポリシーの埋め込みを更新する。
• 模倣学習と強化学習の組み合わせでエージェントを訓練し、成功したナビゲーションと効率的な探索を促進する報酬信号を用いる。
• ナビゲーションポリシー出力の信頼度が低い場合にのみ作動する、信頼度に基づく探索トリガーを実装する。
• シングルステップおよびマルチステップ探索をサポートし、意思決定に寄与する情報量を最大化するように探索経路を最適化する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、曇った指示に起因する不確実性を低減するために、能動的に環境を探索する能力を学習できるか？
• RQ2 エージェントは、ナビゲーションに寄与する情報量を最大化するために、いつ、どこを探索すべきかをどのように決定できるか？
• RQ3 ナビゲーションポリシーに能動的探索を統合することで、標準的なVLNベンチマークでのパフォーマンスが向上するか？
• RQ4 許容可能な最大探索ステップ数がナビゲーションの成功確率と効率にどのように影響するか？
• RQ5 ロバストな探索と情報収集戦略を学習することで、エージェントは見慣れない環境にも一般化して成功できるか？

主な発見

• 提案されたエージェントは、ビームサーチ設定下でR2Rベンチマークで0.70のSPLを達成し、ベースラインモデルを著しく上回った。
• 最大4ステップの探索で、19.7%の探索率を達成し、SPLを0.66から0.70に向上させ、効果的な情報収集を実証した。
• 探索中に約65.2%の誤ったナビゲーション行動が是正された一方、正しくても誤って変更された行動はわずか10.7%にとどまった。
• 最大4ステップの探索でパフォーマンスがピークに達し、6ステップに増加するとパフォーマンスが低下した。これは、最適な探索深さを超えると収益が減少することを示唆している。
• 複数の出口がある通路のような困難で曇った状況において、エージェントは探索と再評価を通じてナビゲーション信頼度を修正し、成功した。
• 定性的な結果から、探索により正しいナビゲーション方向のアテンションスコアが向上しており、情報収集後の意思決定の改善が確認された。