[論文レビュー] Towards Learning a Generic Agent for Vision-and-Language Navigation via Pre-training

Weituo Hao, Chunyuan Li+3 more|arXiv (Cornell University)|Feb 25, 2020

Multimodal Machine Learning Applications参考文献 32被引用数 18

ひとこと要約

この論文では、画像-テキスト-アクションの三つ組みデータに対して自己教師あり事前学習を活用することで、汎用的で転移可能な表現を学習する、Prevalentと呼ばれる視覚言語ナビゲーションエージェントを紹介する。マスクされた言語モデリングとアクション予測の目的関数を用いた事前学習により、Prevalentは3つのVLNベンチマークで最先端の性能を達成し、R2Rでは成功確率51%を記録、CVNDとHANNAでは新たなSOTAを樹立した。また、未学習環境への一般化性能が高く、ファインチューニング時にも迅速に適応する。

ABSTRACT

Learning to navigate in a visual environment following natural-language instructions is a challenging task, because the multimodal inputs to the agent are highly variable, and the training data on a new task is often limited. In this paper, we present the first pre-training and fine-tuning paradigm for vision-and-language navigation (VLN) tasks. By training on a large amount of image-text-action triplets in a self-supervised learning manner, the pre-trained model provides generic representations of visual environments and language instructions. It can be easily used as a drop-in for existing VLN frameworks, leading to the proposed agent called Prevalent. It learns more effectively in new tasks and generalizes better in a previously unseen environment. The performance is validated on three VLN tasks. On the Room-to-Room benchmark, our model improves the state-of-the-art from 47% to 51% on success rate weighted by path length. Further, the learned representation is transferable to other VLN tasks. On two recent tasks, vision-and-dialog navigation and "Help, Anna!" the proposed Prevalent leads to significant improvement over existing methods, achieving a new state of the art.

研究の動機と目的

• 視覚言語ナビゲーション（VLN）における限られたかつ曖昧な訓練データの課題に対処するため、大規模なマルチモーダルデータから汎用的で転移可能な表現を学ぶこと。
• タスク固有の事前学習に依存しないようにするため、言語理解と視覚的理解をアクションシーケンスに根ざした事前学習パラダイムを導入すること。
• 統一された事前学習エンコーダーを用いることで、未学習環境への一般化性能を向上させるとともに、新しいタスクへの適応速度を速めること。
• 既存のVLNフレームワークとのプラグアンドプレイ統合を可能にするために、汎用的かつ再利用可能な表現モデルを提供すること。
• アクションを用いた事前学習と画像に注目したマスク言語モデリングの有効性を、下流のVLNタスクにおいて検証すること。

提案手法

• R2Rデータセットから収集した大規模な画像-テキスト-アクション三つ組みデータを用いて、自己教師あり学習の枠組みで視覚言語モデルを事前学習する。
• 2つの事前学習目的を用いる：視覚特徴にクロスアテンションを適用したマスク言語モデリング（MLM）と、言語と将来のアクションを一致させる次アクション予測（PA）。
• 事前学習済みエンコーダーを固定特徴抽出器として利用するか、下流のVLNタスクでエンドツーエンドにファインチューニングすることで、既存モデルとの相互運用性を実現する。
• 3つの下流タスクに事前学習モデルを適用：Room-to-Room（R2R）、協働的視覚対話ナビゲーション（CVND）、および「Help, Anna!（HANNA）」。
• 2段階の訓練戦略を採用：まず事前学習エンコーダーから固定特徴を抽出し、次にクロスアテンション層をファインチューニングすることで性能を向上させる。
• マスク言語モデリングの目的関数を、マスク時に視覚特徴に注目させるように設計することで、従来のBERTスタイルの事前学習とは異なり、マルチモーダルな一致を強化する。

実験結果

リサーチクエスチョン

• RQ1 画像-テキスト-アクション三つ組みデータに対する自己教師あり事前学習は、視覚言語ナビゲーションにおけるゼロショット一般化を向上させることができるか？
• RQ2 アクション予測とマスク言語モデリングによる事前学習は、ランダム初期化や標準BERTを用いた学習と比較して、性能向上と迅速な適応をもたらすか？
• RQ3 事前学習済みの視覚言語表現は、ドメイン内およびドメイン外の多様なVLNタスクにどの程度転送可能か？
• RQ4 事前学習は、ランダム初期化や標準的なファインチューニングと比較して、未学習環境における過学習を軽減し、性能を向上させるか？
• RQ5 ナビゲーションタスクにおいて、標準的なBERTスタイルのMLMと比較して、画像に注目したマスク言語モデリングはより効果的か？

主な発見

• Prevalentは、R2Rベンチマークで51%の成功確率を達成し、過去のSOTA（47%）を上回り、新たな最先端性能を樹立した。
• 協働的視覚対話ナビゲーション（CVND）タスクにおいて、Prevalentは既存手法を大きく上回り、ドメイン外タスクへの強力な転送性を示した。
• 「Help, Anna!（HANNA）」ベンチマークでは、提出時時点で公表済みの結果の中で最高の性能を記録し、対話的ナビゲーションにおける有効性を裏付けた。
• 事前学習モデルは、収束が早く、学習曲線から見た既知環境と未知環境の性能差が小さいことから、迅速な適応と優れた一般化性能を示している。
• アブレーションスタディの結果、マスク言語モデリングとアクション予測の両目的が性能向上に寄与しており、特に画像に注目したMLMが標準的なBERT事前学習よりも優れていることが確認された。
• 特徴ベースのファインチューニング戦略は優れた結果をもたらし、2段階訓練戦略（特徴抽出 → クロスアテンションのファインチューニング）を採用することで、R2Rにおける性能がさらに向上した。