[論文レビュー] Robust Navigation with Language Pretraining and Stochastic Sampling

Xiujun Li, Chunyuan Li+6 more|arXiv (Cornell University)|Sep 5, 2019

Multimodal Machine Learning Applications参考文献 20被引用数 13

ひとこと要約

この論文では、大規模な事前学習済み言語モデル（BERT/GPT）を活用して命令の一般化性能を向上させるとともに、露出バイアスを軽減するための確率的サンプリング訓練戦略を採用する、VISION-AND-LANGUAGE NAVIGATIONエージェントPRESSを紹介する。これらの手法を組み合わせることで、R2Rベンチマークにおいてパス長に重み付けされたSPLで53％の新たな最先端性能を達成し、従来手法に比べ6％の絶対的向上を達成した。

ABSTRACT

Core to the vision-and-language navigation (VLN) challenge is building robust instruction representations and action decoding schemes, which can generalize well to previously unseen instructions and environments. In this paper, we report two simple but highly effective methods to address these challenges and lead to a new state-of-the-art performance. First, we adapt large-scale pretrained language models to learn text representations that generalize better to previously unseen instructions. Second, we propose a stochastic sampling scheme to reduce the considerable gap between the expert actions in training and sampled actions in test, so that the agent can learn to correct its own mistakes during long sequential action decoding. Combining the two techniques, we achieve a new state of the art on the Room-to-Room benchmark with 6% absolute gain over the previous best result (47% -> 53%) on the Success Rate weighted by Path Length metric.

研究の動機と目的

• 未確認の環境や指示に対しても一般化性能を向上させるビジョンアンドランゲージナビゲーションエージェントの開発。
• 訓練時の逐次的行動デコードにおける露出バイアスの解消。
• 分布シフトに強く、一般化可能なナビゲーションポリシーの開発。
• 単純で効果的な手法（事前学習と確率的サンプリング）が、複雑な最先端モデルを上回ることの実証。

提案手法

• 大規模な事前学習済み言語モデル（BERTおよびGPT）を微調整して、命令エンコーダーとして用い、未確認の環境へのゼロショット一般化性能を向上させる。
• 教師強制と生徒強制を混合する確率的サンプリング方式を導入し、訓練時と推論時のギャップを低減する。
• 言語特徴と視覚的特徴の間でクロスアテンションを用いた、シーケンス・トゥ・シーケンスモデルを用いて行動予測を行う。
• 推論時、複数の命令を1つの軌道に統合するために、コンテキストの平均プーリングを適用する。
• 行動を訓練時に確率的にサンプリングするハイブリッド訓練戦略を採用し、エージェントが自らの誤りから学習できるようにする。
• エージェントのポリシーをエキスパート軌道の対数尤度を最大化するように、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習済み言語モデルは、ビジョンアンドランゲージナビゲーションにおけるゼロショット一般化性能を向上させることができるか？
• RQ2 訓練時に確率的サンプリング戦略を採用することで、露出バイアスが軽減され、推論時のロバスト性が向上するか？
• RQ3 事前学習済み言語モデルと確率的行動サンプリングを組み合わせることで、R2Rベンチマークで最先端性能を達成できるか？
• RQ4 異なる訓練戦略において、確認済み環境と未確認環境の間の性能差はどのように変化するか？

主な発見

• PRESSはR2Rテストセットで53％のSPLを達成し、以前の最先端手法（47％のSPL）に比べ6％の絶対的向上を達成した。
• 未確認環境ではPRESSが55％のSPLを達成し、ベースラインのseq2seqモデル（23％のSPL）を大きく上回り、確認済み／未確認環境間の性能差を縮小した。
• BERTとGPTを命令エンコーダーとして用いることで、LSTMに比べより優れた一般化性能が得られ、特に未確認環境での性能が顕著に向上した。
• 確率的サンプリング（SS）は、教師強制と生徒強制の両方を上回り、誤差伝搬の低減に特に効果的であった。
• 定性的な結果から、PRESSはベースラインモデルが混乱するようなレアワード（例：'mannequins' や 'manikins'）を正しく解釈できていることが示された。
• アブレーションスタディの結果、事前学習済み言語モデルと確率的サンプリングの両方が不可欠であり、その組み合わせが最も優れた一般化性能と性能をもたらした。