[論文レビュー] The Road to Know-Where: An Object-and-Room Informed Sequential BERT for Indoor Vision-Language Navigation

Yuankai Qi, Zizheng Pan+4 more|arXiv (Cornell University)|Apr 9, 2021

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本稿では、視覚言語ナビゲーションの入力をオブジェクトレベルおよび語彙レベルでエンコードし、微細な視覚的・言語的整合性を実現する順序付きBERTモデルORISTを提案する。時間的文脈、相対的方位、部屋タイプの予測を統合することで、エージェントが「どこに」オブジェクトやゴールがあるかを把握できるようにし、REVERIE（18.97 SPL）、NDH（3.17 GP）、R2R（52% SPL）のベンチマークで最先端の性能を達成した。

ABSTRACT

Vision-and-Language Navigation (VLN) requires an agent to find a path to a remote location on the basis of natural-language instructions and a set of photo-realistic panoramas. Most existing methods take the words in the instructions and the discrete views of each panorama as the minimal unit of encoding. However, this requires a model to match different nouns (e.g., TV, table) against the same input view feature. In this work, we propose an object-informed sequential BERT to encode visual perceptions and linguistic instructions at the same fine-grained level, namely objects and words. Our sequential BERT also enables the visual-textual clues to be interpreted in light of the temporal context, which is crucial to multi-round VLN tasks. Additionally, we enable the model to identify the relative direction (e.g., left/right/front/back) of each navigable location and the room type (e.g., bedroom, kitchen) of its current and final navigation goal, as such information is widely mentioned in instructions implying the desired next and final locations. We thus enable the model to know-where the objects lie in the images, and to know-where they stand in the scene. Extensive experiments demonstrate the effectiveness compared against several state-of-the-art methods on three indoor VLN tasks: REVERIE, NDH, and R2R. Project repository: https://github.com/YuankaiQi/ORIST

研究の動機と目的

• 既存のVLN手法が言語と視覚を粗い離散的レベル（例：パノラマ全体のビュー、語彙）でエンコードするという限界に対処する。これにより、言語のランドマークと視覚的エンティティの間の微細な整合性が阻害される。
• 順序付きBERTアーキテクチャを用いてナビゲーション意思決定における時間的文脈をモデル化することで、未確認環境における一般化性能を向上させる。
• 相対的方位（左/右/前/後ろ）と部屋タイプ（例：台所、寝室）を補助信号として明示的に予測することで、ナビゲーションの正確性を向上させる。
• 視覚的・言語的キューと空間的推論を統合することで、エージェントが「どこに」オブジェクトがあるかを把握し、「どこへ」向かうかを把握できるようにする。

提案手法

• モデルはオブジェクトレベルの初期埋め込みモジュールを用い、オブジェクト候補から視覚特徴を抽出し、指示文内の対応する語と整合化する。
• 順序付きBERTエンコーダは視覚的および言語的トークンを統合的かつ双方向的に処理し、ステップ間でクロスモーダルアテンションと文脈に配慮した表現学習を可能にする。
• マルチタスクヘッドは、各ナビゲーション可能なビューポイントへの相対的方位、次の場所の部屋タイプ、最終的なゴールの部屋タイプを予測し、それぞれに固有の損失関数を設定する。
• モデルは言語モデリング損失、方位損失 ℒᴰ、および2つの部屋タイプ損失（次の部屋タイプ ℒᴿₙ とゴールの部屋タイプ ℒᴿ_g）の組み合わせで訓練される。
• すべてのコンポonentはナビゲーションステップ間で共有され、エンドツーエンドの学習と時間的整合性のある推論を可能にする。
• アーキテクチャは、R2R、NDH、REVERIEを含む複数のVLNタスクにおける共同事前学習と微調整をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ビュー単位のエンコードと比較して、オブジェクトレベルおよび語彙レベルでの視覚言語相互作用をモデル化することで、整合性とナビゲーション性能が向上するか？
• RQ2 順序付きBERTアーキテクチャを用いて時間的文脈を統合することで、マルチラウンドVLNタスクにおける意思決定が向上するか？
• RQ3 相対的方位や部屋タイプといった補助信号は、未確認環境における一般化性能をどの程度向上させるか？
• RQ4 方位と部屋タイプの予測は、学習済み環境での過学習を軽減し、未確認環境での性能向上にどのように寄与するか？

主な発見

• 提案されたORISTモデルは、REVERIEベンチマークで18.97 SPLおよび9.28 RGSPLを達成し、先行する最先端手法を上回った。
• NDHベンチマークでは、ORISTが3.17 GPを達成し、視覚対話ナビゲーションタスクにおいて優れた性能を示した。
• R2Rベンチマークでは、ORISTが52% SPLを達成し、多様な屋内環境における強力な一般化性能を示した。
• 方位損失 ℒᴰ は、すべてのスプリットで一貫して性能向上をもたらし、特に未確認環境で顕著な改善が見られた。これは、候補の区別能が向上したことを示している。
• 部屋タイプ損失は、学習済みスプリットでの性能向上に寄与したが、REVERIEの未確認スプリットでは過学習を引き起こす可能性があり、おそらく指示文に次の部屋の参照がないためと推測される。
• 定性的なアテンション可視化により、モデルが正しい視覚的オブジェクト（例：『洗面台』）と指示トークン（例：『お風呂』）を正しく整合しており、空間的ヒントを用いて行動選択を行っていることが確認された。