[論文レビュー] Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding

Alexander Ku, Peter Anderson+3 more|arXiv (Cornell University)|Oct 15, 2020

Multimodal Machine Learning Applications参考文献 42被引用数 14

ひとこと要約

本論文は、3次元ポーズ列に時間的に整合された各単語を備えた、大規模かつ多言語対応の視覚言語ナビゲーションデータセットであるRoom-across-Room (RxR) を紹介する。このデータセットには、英語、ヒンディー語、テルグ語の3言語で構成される126,000件の指示が含まれており、人間のフォロワーの模倣行動と詳細な視覚的接地情報を備え、マルチタスク学習とポーズに配慮したアテンション機構により、単言語および多言語エージェントの性能向上を可能にし、未学習の環境において最先端の結果を達成している。

ABSTRACT

We introduce Room-Across-Room (RxR), a new Vision-and-Language Navigation (VLN) dataset. RxR is multilingual (English, Hindi, and Telugu) and larger (more paths and instructions) than other VLN datasets. It emphasizes the role of language in VLN by addressing known biases in paths and eliciting more references to visible entities. Furthermore, each word in an instruction is time-aligned to the virtual poses of instruction creators and validators. We establish baseline scores for monolingual and multilingual settings and multitask learning when including Room-to-Room annotations. We also provide results for a model that learns from synchronized pose traces by focusing only on portions of the panorama attended to in human demonstrations. The size, scope and detail of RxR dramatically expands the frontier for research on embodied language agents in simulated, photo-realistic environments.

研究の動機と目的

• 写実的3次元環境における、多言語的で大規模かつ詳細な接地を備えた視覚言語ナビゲーションデータセットの不足を解消すること。
• R2Rのような既存のデータセットに見られるルートバイアスを軽減するため、より多様で長距離のナビゲーション経路を導入すること。
• 言語の指示と3次元視覚的ポーズの間の細粒度の単語レベルの時間的整合性を実現し、接地の正確性とエージェントの性能を向上させること。
• 自然なナビゲーション行動から学習を支援するため、完全なポーズトレースを備えた人間のフォロワーの模倣行動を提供すること。
• 英語、ヒンディー語、テルグ語という言語タイプが多様な言語を含め、ネイティブスピーカーが生成した指示により、多言語的エージェント理解の研究を促進すること。

提案手法

• RxRデータセットは、米国（en-US）、インド（en-IN）、テルグ語話者地域のネイティブスピーカーを用いて、3言語でオリジナルのナビゲーション指示を生成した。
• ガイドがMatterport3D環境内の事前に定義された経路を歩きながら指示を発話し、後でその発話内容を文字起こし、独自のアノテーションツールを用いて3次元ポーズ列に時間的に整合させた。
• 各指示の単語が特定の仮想ポーズおよびパノラマ内の視覚的領域に対応しており、単語レベルでの詳細な時空間的接地を可能にしている。
• フォロワーの模倣行動は、ガイドの視点から同じ指示に従って行動する人間参加者を用い、その全3次元ポーズトレースを記録することで収集した。
• ベースラインモデルは、マルチモodalアテンションを備えた強化学習型クロスモーダルマッチングエージェントの変種を用いて学習し、単言語および多言語設定で評価した。
• マルチタスク学習は、RxRとR2Rデータを同時に学習することで実施され、視覚と言語モダリティの貢献度を評価するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 単語レベルでの詳細な時空間的接地は、粗い接地や接地なしの設定と比較して、視覚言語ナビゲーションの性能にどのように寄与するか？
• RQ2 多様な言語（英語、ヒンディー語、テルグ語）における多言語事前学習は、視覚言語ナビゲーションにおけるゼロショット一般化と耐性にどの程度寄与するか？
• RQ3 人間が指示を解釈する様子を捉えたフォロワーの模倣行動トレースは、ガイドの経路のみを用いる場合と比較して、エージェントの学習と一般化にどのように寄与するか？
• RQ4 RxRとR2Rデータを統合したマルチタスク学習はどの程度効果的か？また、両データセット間の転移学習のダイナミクスはどのようなものか？
• RQ5 多言語VLNにおけるエージェント性能に、視覚と言語モダリティの相対的貢献度はどの程度で、接地の監視情報とどのように相互作用するか？

主な発見

• RxRで訓練された多言語エージェントは、RxRテストスタンダードスプリットで77.2％の成功率を達成し、ランダムベースライン（0.7％）を著しく上回り、人間の性能（90.2％）に近づいた。
• RxRとR2Rの両データセットを同時に学習するマルチタスク学習により、すべての指標で性能が向上し、両データセットで最良の結果が得られた。これは、両データセットが相補的な価値を持つことを示している。
• フォロワーの模倣行動トレースを用いることで、ガイドの経路のみを用いる場合と比較してエージェントの性能が向上した。これは、人間の解釈パターンが学習に価値を持つことを示している。
• 視覚的アテンションによる時空間的接地の監視は、混合な結果を示した。NDTWとNEスコアは向上したが、未学習環境における成功ベースの指標は悪化した。これは、複雑なトレードオフが存在することを示している。
• 言語のみのエージェントが視覚のみのエージェントを上回った。これは、視覚入力がなくても「左に曲がる」や「階段を上る」などの言語的手がかりが、意味のあるナビゲーション情報を持つことを示している。
• アブレーションスタディにより、視覚と言語の両モダリティが最適な性能を発揮するために不可欠であることが確認され、マルチモーダルモデルは単一モーダルのベースラインを著しく上回った。