[論文レビュー] BabyWalk: Going Farther in Vision-and-Language Navigation by Taking Baby Steps

Zhu Wang, Hexiang Hu+5 more|arXiv (Cornell University)|May 10, 2020

Multimodal Machine Learning Applications参考文献 28被引用数 8

ひとこと要約

BabyWalkは、メモリ拡張ポリシー・ネットワークを用いて、長めの指示を段階的な『ベビーステップ』—短いナビゲーションタスクに分解する視覚言語ナビゲーションエージェントを提案する。最初に、これらのマイクロインストラクション上で専門家の軌道を模倣し、次に段階的な強化学習を用いて、徐々に長くなるパスに対して性能を最適化する。これにより、長距離ナビゲーションタスク、特にr6rおよびr8rへのドメイン外一般化において、最先端の一般化性能を達成した。

ABSTRACT

Learning to follow instructions is of fundamental importance to autonomous agents for vision-and-language navigation (VLN). In this paper, we study how an agent can navigate long paths when learning from a corpus that consists of shorter ones. We show that existing state-of-the-art agents do not generalize well. To this end, we propose BabyWalk, a new VLN agent that is learned to navigate by decomposing long instructions into shorter ones (BabySteps) and completing them sequentially. A special design memory buffer is used by the agent to turn its past experiences into contexts for future steps. The learning process is composed of two phases. In the first phase, the agent uses imitation learning from demonstration to accomplish BabySteps. In the second phase, the agent uses curriculum-based reinforcement learning to maximize rewards on navigation tasks with increasingly longer instructions. We create two new benchmark datasets (of long navigation tasks) and use them in conjunction with existing ones to examine BabyWalk's generalization ability. Empirical results show that BabyWalk achieves state-of-the-art results on several metrics, in particular, is able to follow long instructions better. The codes and the datasets are released on our project page https://github.com/Sha-Lab/babywalk.

研究の動機と目的

• 短いナビゲーションタスクでのみ学習した場合に、長めの指示に一般化できるようにする課題に対処すること。
• ゴール到達を超えた一般化を向上させることで、特に長距離パスにおいて指示の正確性を重視すること。
• 長めの指示を段階的なマイクロインストラクション（ベビーステップ）に分解することで、移行性能が向上するかどうかを調査すること。
• 短いステップでの模倣学習と、徐々に長くなるタスクにおける段階的強化学習を組み合わせたトレーニングパイプラインを開発すること。

提案手法

• エージェントは、長めのナビゲーション指示を、それぞれが明確な部分ゴールを持つ短い中間的『ベビーステップ』に分解する。
• 記憶バッファが過去の経験を保存することで、将来のステップにおける文脈的認識を提供し、逐次的意思決定を可能にする。
• 最初のトレーニングフェーズでは、ペア化されたベビーステップと専門家の軌道に基づき、模倣学習を用いて低レベルのナビゲーションポリシーを学習する。
• 2番目のフェーズでは、短いパスから始まり、徐々に長くなるナビゲーションタスクに対して段階的強化学習を適用し、耐障害性と一般化性能を向上させる。
• r4rで学習し、より長い未観測データセットr6rとr8rで評価することで、ドメイン外一般化をテストする。
• SPL、NDTW、SDTW、CLS、PLの複数の指標を用いて評価し、アブレーションと移行分析も実施する。

実験結果

リサーチクエスチョン

• RQ1 r4rで学習したVLPエージェントが、著しく長い未観測ナビゲーションパスに効果的に一般化できるか？
• RQ2 長めの指示を段階的なベビーステップに分解することで、指示従従の正確性とナビゲーション一般化性能が向上するか？
• RQ3 段階的強化学習を、徐々に長くなるパス長に対して適用することで、エージェントが長く複雑な指示を正確に追従できるようになるか？
• RQ4 マイクロインストラクションでの模倣学習が、より長いシーケンスでのエンドツーエンド学習に比べて、パス追従精度で優れている程度はどの程度か？
• RQ5 メモリ拡張設計が、長時間にわたるナビゲーションにおける逐次的推論と文脈認識を向上させるか？

主な発見

• BabyWalkは、r6rで25.9%のSDTWスコア、r8rで26.2%を記録し、すべてのベースラインを上回る最先端の性能を達成した。
• r8rでは48.3%のCLSスコアと48.1%のSPLスコアを達成し、ドメイン内エージェントの性能に近づいた。
• 従来手法と比較して、顕著に優れた一般化性能を示した。例えば、r4rで学習した場合、r6rで25.4%のSDTWを達成したが、次に優れた手法は15.3%であった。
• BabyWalkのr8rにおける性能は、ドメイン内モデルとほぼ同等であり、特にパス追従指標において顕著なドメイン外一般化を示した。
• アブレーションスタディにより、ベビーステップ分解と段階的学習の両方が不可欠であることが確認された。両方の要素を除去すると、性能が著しく低下した。
• r8rで学習したモデルが全体的に最も優れた一般化性能を示した。これは、より長いシーケンスで学習することで、短いパスへの内挿がより効果的に可能になるが、長いパスへの外挿はそれほど効果的ではないことを示唆している。