[論文レビュー] Multi-View Learning for Vision-and-Language Navigation

Qiaolin Xia, Xiujun Li+6 more|arXiv (Cornell University)|Mar 2, 2020

Multimodal Machine Learning Applications参考文献 30被引用数 11

ひとこと要約

本論文は、同じトラジェクトリに対して複数の自然言語指示を同時に学習することで一般化性能を向上させる、視覚・言語ナビゲーションのためのマルチビュー学習フレームワークLEO（LEARN FROM EVERYONE）を提案する。複数の指示間でパラメータを共有し、パラメータフリーのプーリング関数により統合することで、曇りを軽減し性能を向上させ、R2Rベンチマークで41.4%のSPLを達成した（グリーディベースラインより16ポイント高い）。複数の指示を用いた場合、62%のSPLを達成し、未学習の環境への一般化能力が顕著に向上した。

ABSTRACT

Learning to navigate in a visual environment following natural language instructions is a challenging task because natural language instructions are highly variable, ambiguous, and under-specified. In this paper, we present a novel training paradigm, Learn from EveryOne (LEO), which leverages multiple instructions (as different views) for the same trajectory to resolve language ambiguity and improve generalization. By sharing parameters across instructions, our approach learns more effectively from limited training data and generalizes better in unseen environments. On the recent Room-to-Room (R2R) benchmark dataset, LEO achieves 16% improvement (absolute) over a greedy agent as the base agent (25.3% $ ightarrow$ 41.4%) in Success Rate weighted by Path Length (SPL). Further, LEO is complementary to most existing models for vision-and-language navigation, allowing for easy integration with the existing techniques, leading to LEO+, which creates the new state of the art, pushing the R2R benchmark to 62% (9% absolute improvement).

研究の動機と目的

• 視覚・言語ナビゲーションにおける言語の曇りや不十分な記述の課題に対処すること。
• 同じトラジェクトリの異なる指示を補完的ビューとして活用することで、未学習の環境への一般化を向上させること。
• 単一の指示で学習するのではなく、複数の指示バリアント間の集団的推論から学習できる訓練パラダイムの開発。
• マルチビュー学習が視覚・言語ナビゲーションタスクにおける性能と耐性を顕著に向上させられることの実証。

提案手法

• LEOは、視覚・言語ナビゲーションをマルチビュー学習問題として定式化し、各指示を同じナビゲーショントラジェクトリの別々のビューとみなす。
• 全指示の処理に共通のエンコーダーを用いることで、パラメータ共有と共同表現学習を実現する。
• 複数のビューからの補完的情報を統合するために、パラメータフリーのプーリング関数（例：平均プーリング）を用いて指示表現を統合する。
• 統合された指示埋め込みを視覚特徴と組み合わせ、系列から系列へのデコーダーを用いて行動シーケンスを生成する。
• 本フレームワークは既存のVLNモデルと互換性があり、SMNA や EnvDrop といった最先端のエージェントに容易に統合可能で、LEO+を構築可能である。
• 訓練中に指示バリアントの数を増やすためのデータ拡張が適用され、さらに一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 複数の自然言語指示に対する共同推論は、視覚・言語ナビゲーションにおける一般化を向上させ得るか？
• RQ2 パラメータ共有を伴うマルチビュー学習は、言語指示の曇りをどのように軽減するか？
• RQ3 LEOは、単一指示学習と比較して、未学習の環境における性能をどの程度向上させるか？
• RQ4 LEOは、既存のSOTA VLNモデルと効果的に統合可能で、さらなる性能向上を実現できるか？
• RQ5 指示間でのパラメータ共有は、分布シフトに対して過学習を防ぎ、耐性を向上させるか？

主な発見

• グリーディエージェントのR2RベンチマークにおけるSPL（パス長加重成功確率）は、25.3%から41.4%に向上し、16ポイントの絶対的増加を達成した。
• SMNAエージェントに適用したLEO+は、SPLで9ポイントの絶対的向上を示し、53%から62%に上昇した。
• EnvDropエージェントに適用したLEO+は、R2RテストセットでSPLが12ポイント絶対的に向上し、62%に達した。
• LEOの共有エンコーダーは、マルチアームエンコーダーよりも未学習環境への一般化性能が顕著に優れており、過学習が抑制されていることが示唆された。
• テスト時にも1つの指示しか使用しない状況でも、LEOは単一指示ベースラインを上回り、一般化性能の向上が裏付けられた。
• 定性的な分析から、LEOは複数のビュー間の合意を活用することで、「間違ったタイミングに右に曲がる」などの曇った指示に起因する失敗ポイントを効果的に回避できていることがわかった。