[論文レビュー] Counterfactual Vision-and-Language Navigation via Adversarial Path Sampling

Tsu-Jui Fu, Xin Wang+4 more|arXiv (Cornell University)|Nov 17, 2019

Multimodal Machine Learning Applications参考文献 38被引用数 15

ひとこと要約

本稿では、視覚言語ナビゲーション（VLN）のための反転的ナビゲーション経路生成手法（APS）を提案する。APSは敵対的訓練を用いて、挑戦的で効果的なデータ拡張を生成する。APSは、既知および未知の環境における汎化性能を向上させ、複数のVLNモデルにおける性能を向上させるとともに、未知環境における事前探索を可能にし、データが限られる状況下でも、モデルの頑健性と成功確率を顕著に向上させる。

ABSTRACT

Vision-and-Language Navigation (VLN) is a task where agents must decide how to move through a 3D environment to reach a goal by grounding natural language instructions to the visual surroundings. One of the problems of the VLN task is data scarcity since it is difficult to collect enough navigation paths with human-annotated instructions for interactive environments. In this paper, we explore the use of counterfactual thinking as a human-inspired data augmentation method that results in robust models. Counterfactual thinking is a concept that describes the human propensity to create possible alternatives to life events that have already occurred. We propose an adversarial-driven counterfactual reasoning model that can consider effective conditions instead of low-quality augmented data. In particular, we present a model-agnostic adversarial path sampler (APS) that learns to sample challenging paths that force the navigator to improve based on the navigation performance. APS also serves to do pre-exploration of unseen environments to strengthen the model's ability to generalize. We evaluate the influence of APS on the performance of different VLN baseline models using the room-to-room dataset (R2R). The results show that the adversarial training process with our proposed APS benefits VLN models under both seen and unseen environments. And the pre-exploration process can further gain additional improvements under unseen environments.

研究の動機と目的

• 人間のインスピレーションを受ける反転的推論を活用して、視覚言語ナビゲーション（VLN）におけるデータ不足問題を解決すること。
• ランダムなデータ拡張では得られない情報量が少なく、品質の低い経路が生成されるという限界を克服すること。
• モデルに依存しない手法として、高品質で挑戦的な反転的経路のみを生成するように設計し、ナビゲーション方策の向上を図ること。
• 未知の環境における環境ベースの事前探索を可能にし、汎化性能と適応性を向上させること。
• 敵対的サンプリングによる反転的経路が、複数のVLNモデルにおいてランダムな拡張よりも優れた性能を発揮することを実証すること。

提案手法

• モデルに依存しない敵対的経路サンプラー（APS）を提案し、データ拡張のための挑戦的なナビゲーション経路を学習的に生成する。
• 敵対的訓練を採用し、ナビゲーターがAPSが生成した経路を解消することで方策を改善する一方で、APSは次第に困難な経路を生成するように進化する。
• Seq2Seq や Speaker-Follower などの既存のVLNモデルに、アーキテクチャの変更なしにAPSを統合可能である。
• APSを用いて、展開前にシミュレーションによる探索を事前に行えるようにし、未知環境における事前探索を可能にする。
• 最短経路である必要はなく、意味的および視覚的に多様な経路をサンプリングするようにAPSを訓練し、方策の頑健性を向上させる。
• 視覚的特徴埋め込みとL2距離を用いて、環境間の違いを測定し、事前探索の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的にサンプリングされた反転的経路は、既知および未知の環境においてVLNモデルの性能を向上させることができるか？
• RQ2 APSが生成するデータは、ランダムにサンプリングされたデータと比較して、経路の難易度やモデルの性能向上にどの程度寄与するか？
• RQ3 APSを用いた事前探索は、新規で未知の3次元環境において、どの程度汎化性能を向上させることができるか？
• RQ4 APSによる性能向上は、学習環境とテスト環境との間の視覚的および構造的類似性に依存するか？
• RQ5 APSの敵対的訓練プロセスは、標準的なデータ拡張と比較して、より頑健なナビゲーション方策を生み出すことができるか？

主な発見

• APSがサンプリングした経路は、すべてのモデルがそれらに対して成績を下げることから、ランダムにサンプリングされた経路よりも顕著に困難であることが示された。
• APSがサンプリングした経路で学習したSeq2Seqモデル（Seq2Seq_aps）は、ランダムにサンプリングした経路で学習したモデル（Seq2Seq_rand）よりも優れており、未知環境への汎化性能も優れている。
• Seq2Seq_apsは、既知および未知のテストセットの両方で、Seq2Seq_randよりも高い成功確率を示しており、APSが生成するデータの有効性を裏付けている。
• APSを用いた事前探索は、未知環境における性能を向上させ、Seq2Seqでは15ステップ、Speaker-Followerでは40ステップが最良の結果をもたらした。
• 学習環境と異なる視覚的特徴を持つ環境では、事前探索による性能向上が顕著に見られ、新規空間への適応性が強いことが示された。
• 定性的な結果から、事前探索によりエージェントが複雑で不慣れな空間（例：未知環境でのバスルームからの脱出）を正常にナビゲートできることが明らかになった。一方、ベースラインモデルでは失敗していた。