[論文レビュー] SOAT: A Scene- and Object-Aware Transformer for Vision-and-Language Navigation

Abhinav Moudgil, Arjun Majumdar+3 more|arXiv (Cornell University)|Oct 27, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、視覚および言語ナビゲーションのためのシーンおよびオブジェクトに注意を払うトランスフォーマー、SOATを提案する。この手法は、シーン分類とオブジェクト検出のための別個の視覚エンコーダーを用い、選択的アテンション機構を通じてそれらを統合することで、言語指示のグランドイングを向上させる。本手法はR2Rで1.8%のSPL向上、RxRで3.7%のSR向上を達成し、オブジェクトが多く含まれる指示では最大7.9%のSR向上を示し、オブジェクトレベル特徴を用いた視覚・言語事前学習の有効性を示している。

ABSTRACT

Natural language instructions for visual navigation often use scene descriptions (e.g., "bedroom") and object references (e.g., "green chairs") to provide a breadcrumb trail to a goal location. This work presents a transformer-based vision-and-language navigation (VLN) agent that uses two different visual encoders -- a scene classification network and an object detector -- which produce features that match these two distinct types of visual cues. In our method, scene features contribute high-level contextual information that supports object-level processing. With this design, our model is able to use vision-and-language pretraining (i.e., learning the alignment between images and text from large-scale web data) to substantially improve performance on the Room-to-Room (R2R) and Room-Across-Room (RxR) benchmarks. Specifically, our approach leads to improvements of 1.8% absolute in SPL on R2R and 3.7% absolute in SR on RxR. Our analysis reveals even larger gains for navigation instructions that contain six or more object references, which further suggests that our approach is better able to use object features and align them to references in the instructions.

研究の動機と目的

• 指示内のシーンレベルおよびオブジェクトレベルの視覚的ヒントを明示的にモデル化することで、視覚・言語ナビゲーション（VLN）の性能を向上させること。
• 視覚・言語事前学習とVLNのファインチューニングの間のドメインシフトを解消するために、事前学習データと整合するオブジェクト検出特徴を用いること。
• シーン特徴を文脈的ヒントとして扱いながら、処理をオブジェクトレベルの表現に集中させるトランスフォーマー・アーキテクチャを設計すること。
• 視覚・言語事前学習が、特に複雑でオブジェクトが豊富な指示において、オブジェクト特徴の有効な利用を可能にするかどうかを評価すること。
• オブジェクトレベルのグランドイングが、RxRのような困難なベンチマークにおけるナビゲーション性能を顕著に向上させることを示すこと、特にオブジェクト参照が多い指示において。

提案手法

• モデルは2つの異なる視覚エンコーダーを採用する：シーン分類のためのPlacesベースのCNNと、オブジェクト検出のためのFaster R-CNNで、補完的な視覚特徴を生成する。
• シーン特徴は高レベルの文脈的ヒントとして使用され、オブジェクト特徴は選択的アテンション機構を備えた変更版トランスフォーマーを経由して処理される。この際、シーン特徴は固定される。
• アテンション機構を再設計し、オブジェクト特徴がシーン特徴に注目できるようにしつつ、逆は不可とする。これにより、シーン特徴は固定されたまま文脈として機能する。
• 大規模なウェブデータを活用して画像とテキスト表現を一致させるために、視覚・言語事前学習（例：VLN-BERT）を用いてエンドツーエンドでファインチューニングする。
• 各ナビゲーションステップで、行動予測に最も関連する視覚特徴を選択するためのビュー集約戦略を採用する。
• 本手法はR2RおよびRxRベンチマークで評価され、オブジェクト特徴と事前学習の影響を分離するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 シーンおよびオブジェクトの視覚的ヒントを明示的にモデル化することで、視覚・言語ナビゲーションの性能が向上するか？
• RQ2 視覚・言語事前学習と整合するオブジェクト検出特徴を用いることで、ナビゲーション指示内の参照表現のグランドイングが向上するか？
• RQ3 シーンとオブジェクト特徴を異なる方法で扱う選択的アテンション機構は、標準的なアテンションと比較して性能にどのように影響するか？
• RQ4 視覚・言語事前学習が、VLNにおけるオブジェクトレベル特徴の有効な利用をどの程度可能にするか？
• RQ5 オブジェクト参照密度が高い指示において、モデルがより大きな向上を示すかどうか、すなわちオブジェクトグランドイングの向上が確認できるか？

主な発見

• SOATは、VLN-BERTベースラインと比較して、R2Rの検証用未使用スプリットで1.8%のSPL向上を達成した。
• より困難なRxRベンチマークでは、SOATは成功確率（SR）を3.7ポイント、NDTWを2.4ポイント向上させた。
• 6つ以上のオブジェクト参照を含む指示では、SOATはVLN-BERTベースラインと比較して、SRで7.91%の絶対的向上を達成した。
• 視覚・言語事前学習がなければ、オブジェクト特徴による性能向上はほとんど見られず、事前学習がオブジェクトレベル表現を活用するために不可欠であることが示された。
• 特にオブジェクトが豊富なナビゲーションシナリオにおいて、英語指示のRxRで最先端の手法を上回った。
• アブレーションスタディにより、選択的アテンション機構が極めて重要であることが確認された。単にオブジェクト特徴を追加するだけでは性能が低下する。