[論文レビュー] Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks

Fengda Zhu, Yi Zhu+2 more|arXiv (Cornell University)|Nov 18, 2019

Multimodal Machine Learning Applications参考文献 50被引用数 16

ひとこと要約

本論文では、トラジェクトリ再説明、進行度推定、次回の方向転換予測、クロスモodalマッチングの4つの補助的推論タスクを導入することで、自己教師ありフレームワークである補助的推論ナビゲーション（AuxRN）を提案する。これらのタスクはゼロショット一般化を向上させ、性能を向上させ、未学習のVLNベンチマークで65%のSPLを達成し、先行する最先端手法を上回る。

ABSTRACT

Vision-Language Navigation (VLN) is a task where agents learn to navigate following natural language instructions. The key to this task is to perceive both the visual scene and natural language sequentially. Conventional approaches exploit the vision and language features in cross-modal grounding. However, the VLN task remains challenging, since previous works have neglected the rich semantic information contained in the environment (such as implicit navigation graphs or sub-trajectory semantics). In this paper, we introduce Auxiliary Reasoning Navigation (AuxRN), a framework with four self-supervised auxiliary reasoning tasks to take advantage of the additional training signals derived from the semantic information. The auxiliary tasks have four reasoning objectives: explaining the previous actions, estimating the navigation progress, predicting the next orientation, and evaluating the trajectory consistency. As a result, these additional training signals help the agent to acquire knowledge of semantic representations in order to reason about its activity and build a thorough perception of the environment. Our experiments indicate that auxiliary reasoning tasks improve both the performance of the main task and the model generalizability by a large margin. Empirically, we demonstrate that an agent trained with self-supervised auxiliary reasoning tasks substantially outperforms the previous state-of-the-art method, being the best existing approach on the standard benchmark.

研究の動機と目的

• 既存のビジョン・ランゲージナビゲーション（VLN）エージェントが意味的文脈を把握し、過去の行動や将来の目標について推論する能力に限界があることに対処する。
• ナビゲーショントラジェクトリから暗黙の意味的信号を抽出する自己教師あり補助タスクを活用することで、未学習環境への一般化を向上させる。
• エージェントが自らの行動、進行状況、環境の一貫性について推論するように訓練することで、解釈可能性とデータ効率を向上させる。
• ファインチューニング中に表現を一致させる補助タスクを用いることで、学習済み環境と未学習環境間のドメインシフトを低減する。

提案手法

• トラジェクトリ再説明（過去の行動の自然言語的説明）、進行度推定（正規化されたトラジェクトリ完了度の予測）、次回の方向転換予測（回転角度の推定）、クロスモダリティマッチング（時間経過に伴う視覚的・言語的特徴の一致）の4つの自己教師あり補助推論タスクを導入する。
• 進行度推定にはバイナリクロスエントロピー（BCE）損失を段階的監視に用い、平均二乗誤差（MSE）や先行の進行度モニターよりも優れた性能を示す。
• 言語指示を符号化するための双方向LSTMを用い、ナビゲーションステップ全体にわたり言語特徴がどのように注目されるかを追跡する注目マップを計算する。
• 補助損失を学習済み環境での事前学習時に適用し、未学習環境でファインチューニングする。タスク間で共有された表現学習を実現する。
• 主評価指標として成功度を経路長で重み付けしたSPLを用い、各補助タスクの貢献度を検証するためのアブレーションスタディを実施する。
• 注目マップとナビゲーション進行状況の可視化により、より良い推論と一貫性理解が実現されたことを示す。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり補助推論タスクは、ビジョン・ランゲージナビゲーションにおけるゼロショット一般化を向上させ得るか？
• RQ2 過去の行動の推論と将来の予測をモデル化することで、ナビゲーション性能と耐障害性が向上するか？
• RQ3 BCE損失を用いた段階的進行度推定は、距離ベースやMSEベースの監視と比較してどのように異なるか？
• RQ4 補助タスクは注目メカニズムをどの程度正則化し、モデルの解釈可能性を向上させるか？
• RQ5 補助タスクはファインチューニング中に学習済み環境と未学習環境間のドメインギャップをどの程度低減できるか？

主な発見

• 提案されたAuxRNフレームワークは、未学習のVLNベンチマークで65%のSPLを達成し、先行SOTA手法より4%向上し、公式VLNリーダーボードで最初に首位を獲得したモデルである。
• 補助タスクを用いた事前学習により、バリデーションセットでベースライン比3.45%の向上を達成し、顕著な性能向上を示した。
• 進行度推定のステップワイズ＋BCEバージョンは、学習済みセットでベースラインのProgress Monitorより6.34%高いSPLを、未学習セットで1.58%高いSPLを達成した。
• 補助タスクは注目マップの正則化を向上させ、最終モデルではキーワード（指示の開始・終了など）に注目が集中するようになることが明らかになった。
• 可視化により、進行度推定器とクロスモダリティマッチングがゴールに近づくにつれて1.0に一貫して成長することが確認され、トラジェクトリの一貫性と進行状況の正確な認識が可能であることが示された。
• アブレーションスタディの結果、BCE損失はMSEや先行の進行度モニターよりも優れた性能を示し、補助タスクが総合的に一般化性能と耐障害性を向上させた。