[論文レビュー] Diagnosing Vision-and-Language Navigation: What Really Matters

Wanrong Zhu, Yuankai Qi+7 more|arXiv (Cornell University)|Mar 30, 2021

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

この論文は、制御されたアブレーションスタディを通じて、視覚・言語ナビゲーション（VLN）エージェントを診断し、屋内エージェントが指示内のオブジェクトと方向の両方依存しているのに対し、屋外エージェントは方向の手がかりに過剰に依存していることを明らかにした。トランスフォーマーに基づくモデルは、クロスモodalな整合性と数値推論において優れた性能を示すが、視覚と言語の間で不均衡な注目が生じることで、主張される視覚・言語の整合性が損なわれる。

ABSTRACT

Vision-and-language navigation (VLN) is a multimodal task where an agent follows natural language instructions and navigates in visual environments. Multiple setups have been proposed, and researchers apply new model architectures or training techniques to boost navigation performance. However, there still exist non-negligible gaps between machines' performance and human benchmarks. Moreover, the agents' inner mechanisms for navigation decisions remain unclear. To the best of our knowledge, how the agents perceive the multimodal input is under-studied and needs investigation. In this work, we conduct a series of diagnostic experiments to unveil agents' focus during navigation. Results show that indoor navigation agents refer to both object and direction tokens when making decisions. In contrast, outdoor navigation agents heavily rely on direction tokens and poorly understand the object tokens. Transformer-based agents acquire a better cross-modal understanding of objects and display strong numerical reasoning ability than non-Transformer-based agents. When it comes to vision-and-language alignments, many models claim that they can align object tokens with specific visual targets. We find unbalanced attention on the vision and text input and doubt the reliability of such cross-modal alignments.

研究の動機と目的

• 意思決定過程におけるマルチモーダル入力の解釈方法を、VLNエージェントがどのように処理しているかを調査する。
• ナビゲーション中にエージェントが指示内のオブジェクト、方向、または数値の手がかりにどれほど依存しているかを特定する。
• 最先端モデルが主張する視覚・言語の整合性の信頼性を評価する。
• 屋内（R2R, RxR）と屋外（Touchdown）のナビゲーション環境におけるエージェント行動の違いを診断する。
• 特にトランスフォーマーのモデルアーキテクチャがクロスモーダル理解と推論に与える影響を評価する。

提案手法

• 指示内のオブジェクト、方向、数値のトークンをマスクまたは置換することで、反事後的介入を実施する。
• 環境内のオブジェクト領域を動的にマスクする、またはビューポイント画像を反転させる視覚的摑乱を適用する。
• 介入後のナビゲーション成功確率の低下を測定することで、特定の入力モダリティへのエージェント依存度を推定する。
• R2R、RxR、Touchdownデータセットにおいて、トランスフォーマーに基づくエージェント（例：BERTベース）と非トランスフォーマーのベースラインを比較する。
• アブレーション設定として、視覚的オブジェクトの動的マスク、制御された試行、および完全なトークンマスクを用い、モダリティ依存性を分離する。
• オブジェクトトークンを置換した場合とマスクした場合の性能低下を比較することで、視覚・言語の整合性を評価する（整合性が存在するならば、トークンの変更に敏感であると仮定する）。

実験結果

リサーチクエスチョン

• RQ1 VLNエージェントは、ナビゲーション中に指示内のオブジェクトトークンと方向トークンのどちらにどれほど依存しているか？
• RQ2 入力摂動に対する反応として、屋内と屋外のナビゲーション環境におけるVLNエージェントの性能はどのように変化するか？
• RQ3 トランスフォーマーに基づくエージェントは、非トランスフォーマーのモデルに比べて、より強いクロスモーダル理解と数値推論を示すか？
• RQ4 最先端のVLNモデルが主張する視覚・言語の整合性は信頼できるものか、それとも視覚または言語に注目が不均衡になっているか？
• RQ5 視覚的オブジェクトマスクと文書的オブジェクトマスクに対するエージェントの反応はどのように異なり、これはモダリティへの注目度を何を明らかにするか？

主な発見

• 屋内ナビゲーションエージェントは意思決定にオブジェクトと方向の両方のトークンを用い、指示内のオブジェクトトークンをマスクすると、性能が最大36%低下する。
• 屋外ナビゲーションエージェントは方向トークンに強く依存しており、オブジェクトトークンを置換しても性能低下がわずか（10%未満）にとどまるため、オブジェクト理解が不十分であると示唆される。
• トランスフォーマーに基づくエージェントは、数値推論能力が強く、R2Rで数値トークンをマスクすると、非トランスフォーマーのモデルに比べて成功確率が21%低下する。
• 強力な視覚・言語の整合性を主張しているにもかかわらず、視覚的オブジェクトマスクでは5–13%の性能低下にとどまるが、文書的オブジェクト置換では20–48%の低下を示し、テキストへの注目が不均衡であることが判明する。
• 指示に言及されたすべての視覚的オブジェクトがマスクされても、R2Rでは44%以上、RxR-enでは32%以上の成功確率を維持しており、信頼できる視覚的接地の仮定に反する。
• オブジェクトトークンを置換した場合の性能低下が、視覚的マスクよりも顕著に大きいことから、視覚・言語の整合性は頑健ではなく、表面的である可能性があると示唆される。