[論文レビュー] Embodied Vision-and-Language Navigation with Dynamic Convolutional Filters

Federico Landi, Lorenzo Baraldi+2 more|arXiv (Cornell University)|Jul 5, 2019

Multimodal Machine Learning Applications参考文献 26被引用数 16

ひとこと要約

本論文は、エージェントにやさしい低レベルの行動（例：回転、前進）を生成するために、高レベルのテレポート行動に依存しない、動的畝込みフィルタを用いた新しい身体的ビジョン・アンド・ランゲージナビゲーション（VLN）フレームワークを提案する。注意駆動のフィルタを用いて関連する視覚的および言語的キューに注目することで、R2Rベンチマークで最先端の性能を達成し、従来の低レベル行動モデルより15%高い成功確率を記録するとともに、最高水準の高レベルモデルと同等のSPLを達成した。

ABSTRACT

In Vision-and-Language Navigation (VLN), an embodied agent needs to reach a target destination with the only guidance of a natural language instruction. To explore the environment and progress towards the target location, the agent must perform a series of low-level actions, such as rotate, before stepping ahead. In this paper, we propose to exploit dynamic convolutional filters to encode the visual information and the lingual description in an efficient way. Differently from some previous works that abstract from the agent perspective and use high-level navigation spaces, we design a policy which decodes the information provided by dynamic convolution into a series of low-level, agent friendly actions. Results show that our model exploiting dynamic filters performs better than other architectures with traditional convolution, being the new state of the art for embodied VLN in the low-level action space. Additionally, we attempt to categorize recent work on VLN depending on their architectural choices and distinguish two main groups: we call them low-level actions and high-level actions models. To the best of our knowledge, we are the first to propose this analysis and categorization for VLN.

研究の動機と目的

• 高レベルの行動空間における制限を解決すること。これは、エージェントレベルの制御を抽象化し、事前の地図知識に依存するためである。
• リアルタイムの視覚的および言語的入力に基づいて、アトミックな低レベル行動（例：回転、前進）を生成するナビゲーションポリシーを開発すること。
• 出力空間に基づく新しい分類法を提案すること。これは、低レベル行動（エージェント中心）と高レベル行動（グラフベースのテレポート）を区別するものである。
• 動的畝込みフィルタを活用して、言語指示に応じて関連する視覚的特徴を適応的に注目することで、低レベルVLNのパフォーマンスを向上させること。
• エージェントが環境を知覚し、行動する役割を維持することで、より現実的で能動的かつ身体的なナビゲーションを可能にすること。

提案手法

• 言語指示と一致するようにアテンション機構によって生成される動的畝込みフィルタを用いて、視覚的観測からの選択的特徴抽出が可能になる。
• フィルタは空間的に適応的で文脈に敏感であり、現在のナビゲーション目標に関連する画像領域に焦点を当てる。
• ポリシーネットワークは、フィルタリングされた特徴を処理し、リアルタイムで低レベル行動（例：前進、左、右、停止）のシーケンスを予測する。
• モデルはR2Rデータセット上で、エキスパートのトラジェクトリから得られる教師信号を用いて、エンド・ツー・エンドに訓練される。
• 事前に計算されたナビゲーショングラフやシミュレータが提供するビューポイント接続性に依存しないため、未確認の環境に対してもより頑健である。
• 同じ出力空間（低レベル vs. 高レベル）内でのモデル比較を可能にするための新しい評価プロトコルが導入されている。

実験結果

リサーチクエスチョン

• RQ1 動的畝込みフィルタは、低レベルVLNにおける視覚的・言語的特徴の整合性をどのように向上させるか？
• RQ2 動的フィルタに基づくポリシーは、標準的な畝込みニューラルネットワークに比べて、低レベル行動空間VLNで優れた性能を発揮できるか？
• RQ3 公平な比較フレームワーク下で、低レベル行動空間モデルと高レベル行動空間モデルのパフォーマンスにどのような差が生じるか？
• RQ4 本手法は、最先端の高レベル行動モデルと比較して、成功確率およびSPLの観点でどのように評価されるか？
• RQ5 事前に計算されたナビゲーショングラフやテレポートに依存せずに、低レベル行動ポリシーが競争力のある結果を達成できるか？

主な発見

• 提案手法は、R2Rテストセットにおいて、従来の低レベル行動モデルより15%高い成功確率を達成し、この分野で新たな最先端水準を樹立した。
• 高レベル行動モデル「Speaker-Follower」と比較してSPLで3%高い性能を示し、わずか低レベル行動のみを用いても強力な一般化性能を示した。
• 最高水準の高レベル行動モデル（Ma et al., 2019a）とSPLで1%以内の差で、非常に高い競争力があることが示された。
• アブレーションスタディの結果、標準的な畝込みと比較して、動的フィルタが特徴選択とナビゲーション精度を顕著に向上させたことが確認された。
• 低レベル行動モデルと高レベル行動モデルの新しい分類法は、カテゴリ内でのパフォーマンスのばらつきが小さいことを示しており、より公平なベンチマークの必要性を裏付けた。
• 定性的な結果では、エージェントが指示に従って関連する視覚的要素（例：暖炉、ドアウェイ）を正しく特定し、エピソード全体にわたって一貫した行動予測を示した。