[論文レビュー] Perceive, Transform, and Act: Multi-Modal Attention Networks for Vision-and-Language Navigation

Federico Landi, Lorenzo Baraldi+3 more|arXiv (Cornell University)|Nov 27, 2019

Multimodal Machine Learning Applications参考文献 51被引用数 27

ひとこと要約

本論文は、視覚・言語ナビゲーションにおけるトランスフォーマー基盤アーキテクチャであるPerceive, Transform, and Act (PTA) を提案する。PTAは、視覚、言語、離散的行動を、初期統合と遅延統合戦略を用いて統合する。PTAはR2Rベンチマークで最先端性能を達成し、R4Rベンチマークでも新たなSOTAを樹立した。

ABSTRACT

Vision-and-Language Navigation (VLN) is a challenging task in which an agent needs to follow a language-specified path to reach a target destination. In this paper, we strive for the creation of an agent able to tackle three key issues: multi-modality, long-term dependencies, and adaptability towards different locomotive settings. To that end, we devise Perceive, Transform, and Act (PTA): a fully-attentive VLN architecture that leaves the recurrent approach behind and the first Transformer-like architecture incorporating three different modalities - natural language, images, and discrete actions for the agent control. In particular, we adopt an early fusion strategy to merge lingual and visual information efficiently in our encoder. We then propose to refine the decoding phase with a late fusion extension between the agent's history of actions and the perception modalities. We experimentally validate our model on two datasets and two different action settings. PTA surpasses previous state-of-the-art architectures for low-level VLN on R2R and achieves the first place for both setups in the recently proposed R4R benchmark. Our code is publicly available at this https URL.

研究の動機と目的

• マルチモーダル性、長期的依存関係、および適応性の課題に取り組むこと。
• 従来の再帰的ネットワークを置き換える非再帰的で完全に注意を用いたアーキテクチャを構築すること。
• 初期統合と遅延統合メカニズムを通じて、言語的、視覚的、行動的モダリティの有効な統合を可能にすること。
• 異なる移動設定とベンチマーク環境にわたる強力な一般化性能を達成すること。

提案手法

• モデルは、エンコーダーにおいて言語的および視覚的特徴を初期統合戦略で統合し、共同表現学習を実現する。
• マルチヘッド自己注意機構が統合済みのマルチモーダル埋め込みを処理し、モダリティ間の長距離依存関係を捉える。
• デコーダーは、行動履歴を知覚特徴と遅延統合することで意思決定を精緻化する。
• アーキテクチャはエンドツーエンドで学習可能であり、多様な行動空間とナビゲーションタスクにスケーラブルに設計されている。
• 位置エンコーディングを活用して、入力シーケンス内の空間的および順序的構造を保持する。
• モデルは、2種類の異なる行動設定を用いてR2RおよびR4Rベンチマークで評価され、堅牢性が示された。

実験結果

リサーチクエスチョン

• RQ1 非再帰的で注意に基づくアーキテクチャは、視覚・言語ナビゲーションタスクにおいて再帰的モデルを上回ることができるか？
• RQ2 初期統合と遅延統合戦略は、統合トランスフォーマー・フレームワーク内での視覚、言語、行動モダリティをどの程度効果的に統合できるか？
• RQ3 提案されたアーキテクチャは、VLNにおける異なる行動空間と移動設定に一般化できるか？
• RQ4 モデルは、複雑な言語指示を伴う長距離ナビゲーションタスクでどの程度性能を向上させられるか？

主な発見

• PTAはR2Rベンチマークで最先端性能を達成し、低レベルのVLN設定において、以前のSOTAアーキテクチャを上回った。
• モデルは、2つの行動設定すべてにおいてR4Rベンチマークで新たな1位を達成し、強力な一般化性能を示した。
• アブレーションスタディにより、初期統合（視覚と言語）および遅延統合（行動と知覚）の両成分の有効性が確認された。
• 完全に注意を用いた設計により、再帰的ベースラインと比較して長期的依存関係のモデリングがより優れていた。
• アーキテクチャは、さまざまな移動設定にわたって良好に一般化され、高い適応性を示した。
• コードは公開されており、再現性とマルチモーダルVLN分野におけるさらなる研究を可能にしている。