[論文レビュー] A Recurrent Vision-and-Language BERT for Navigation

Yicong Hong, Qi Wu+3 more|arXiv (Cornell University)|Nov 26, 2020

Multimodal Machine Learning Applications参考文献 59被引用数 40

ひとこと要約

本論文は VLN ∘→BERT を提案する。履歴を考慮したクロスモーダル状態を維持する、ナビゲーション用のリカレントな視覚-言語BERTであり、部分的に観測可能なVLNタスクに対処する。事前学習済みのV&L BERTをナビゲータとして用い、マルチタスク機能を有効にすることで、R2RおよびREVERIEで最先端の結果を達成する。

ABSTRACT

Accuracy of many visiolinguistic tasks has benefited significantly from the application of vision-and-language(V&L) BERT. However, its application for the task of vision-and-language navigation (VLN) remains limited. One reason for this is the difficulty adapting the BERT architecture to the partially observable Markov decision process present in VLN, requiring history-dependent attention and decision making. In this paper we propose a recurrent BERT model that is time-aware for use in VLN. Specifically, we equip the BERT model with a recurrent function that maintains cross-modal state information for the agent. Through extensive experiments on R2R and REVERIE we demonstrate that our model can replace more complex encoder-decoder models to achieve state-of-the-art results. Moreover, our approach can be generalised to other transformer-based architectures, supports pre-training, and is capable of solving navigation and referring expression tasks simultaneously.

研究の動機と目的

• 履歴依存の意思決定を要する部分的に観測可能なMDPとしてVLNを動機づけ、対処する。
• 再帰的で時間を意識したメカニズムを導入することにより、事前学習済みの視覚と言語のBERTモデルを活用する。
• クロスモーダル学習を維持しつつ、標準的なGPUでの訓練を可能にするためにメモリ消費を削減する。
• VLN ∘→BERT が複雑なエンコーダ-デコーダVLNアーキテクチャを置換し、マルチタスク学習をサポートできることを示す。

提案手法

• VLNの履歴依存の状態表現をモデル化するため、V&L BERT に再帰関数を導入する。
• 初期エンコード後は言語トークンを固定し、計算量を削減しつつ指示表現を保持する。
• 各ステップで視覚観測を処理し、現在の状態と初期言語エンコードとTransformerアーキテクチャを通じて融合する。
• 生のテキスト特徴と視覚特徴をマッチさせてエージェントの状態を更新する状態精練機構を定義する。
• 平均視覚注意重みから行動確率を推定し、REVERIE の場合は注意ベースのスコアリングによるオブジェクトグラウンディングを行う。
• 強化学習（A2C）と模倣学習（教師アクションに対するクロスエントロピー）を組み合わせて訓練する。
• VLN ∘→BERT を OSCAR または PREVALENT の事前学習モデルから初期化して、VLN に関連する知識の転移を最大化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの視覚と言語のBERTを、VLN における部分的観測性と時系列依存性に対応させるにはどう適応できるか？
• RQ2 外部メモリーモジュールを用いず、V&L BERT の再帰的拡張が競争力のあるナビゲーションと指示表現タスクを達成できるか？
• RQ3 既存のVLN事前学習モデル（OSCAR、PREVALENT）からの初期化は、未知の環境や指示への一般化を向上させるか？
• RQ4 初期エンコード後に言語特徴を静的化することが、訓練効率と性能に与える影響は？
• RQ5 単一のVLNフレームワークが、ナビゲーションとリモート参照表現のグラウンディングを効果的に同時に扱えるか。

主な発見

• VLN ∘→BERT は、追加のメモリバッファや LSTM を用いず再帰的な V&L BERT を用いることで、R2R および REVERIE で最先端の結果を達成する。
• R2R の unseen テストでは、PREVALENT 事前学習を用いたモデルが63% SRと57% SPLを達成し、強い一般化を示す。
• REVERIE の unseen テストでは、OSCAR PRETRAINING を用いたモデルが 24.62% の navigation SR と 19.48% の SPL を達成し、リモートグラウンディングでは 12.65% の RGS と 10.00% の RGSPL。
• PREVALENT からの初期化は、ほとんどの分割と指標で一般に最良の結果を提供し、マルチタスク性能のためのナビゲーション指向VLN事前学習の利点を強調する。
• アブレーション研究では、状態精練とクロスモーダルマッチングを備えた単一の完全にファインチューニングされたVLN BERT を用いる方が、毎ステップで言語に再度注意を向けるバリアントよりも優れており、GPUメモリ使用量を管理可能な水準に保つことを示した。