[論文レビュー] Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information

Jialu Li, Hao Tan+1 more|arXiv (Cornell University)|Apr 19, 2021

Multimodal Machine Learning Applications参考文献 41被引用数 4

ひとこと要約

本稿では、依存木構造をChildSum Tree-LSTMを用いて活用することで、自然言語指示と視覚的シーンの間のクロスモodalなアライメントを向上させる構文に配慮した視覚言語ナビゲーションエージェントを提案する。フレーズレベルの構文情報を符号化することで、多言語対応のRoom-Across-Roomデータセットにおいて最先端の性能を達成し、特にゼロショット設定において、未観測環境への一般化性能が顕著に向上する。

ABSTRACT

Vision language navigation is the task that requires an agent to navigate through a 3D environment based on natural language instructions. One key challenge in this task is to ground instructions with the current visual information that the agent perceives. Most of the existing work employs soft attention over individual words to locate the instruction required for the next action. However, different words have different functions in a sentence (e.g., modifiers convey attributes, verbs convey actions). Syntax information like dependencies and phrase structures can aid the agent to locate important parts of the instruction. Hence, in this paper, we propose a navigation agent that utilizes syntax information derived from a dependency tree to enhance alignment between the instruction and the current visual scenes. Empirically, our agent outperforms the baseline model that does not use syntax information on the Room-to-Room dataset, especially in the unseen environment. Besides, our agent achieves the new state-of-the-art on Room-Across-Room dataset, which contains instructions in 3 languages (English, Hindi, and Telugu). We also show that our agent is better at aligning instructions with the current visual information via qualitative visualizations. Code and models: https://github.com/jialuli-luka/SyntaxVLN

研究の動機と目的

• 視覚言語ナビゲーションにおける自然言語指示と視覚的シーンの間のクロスモーダルなアライメントを向上させること。
• 依存木からの構文情報が、グランドイングおよびナビゲーション性能を向上させるかどうかを調査すること。
• 単語レベルの過学習を低減し、未観測環境におけるゼロショット一般化性能を向上させること。
• より良い指示理解を実現するためのフレーズレベル構造を捉える構文に配慮したエンコーダーを開発すること。
• 多言語およびゼロショット一般化ベンチマークにおける性能を評価すること。

提案手法

• モデルは自然言語指示の構造を依存解析木を用いて整列させ、単語間の構文的関係を抽出する。
• 依存木上にChildSum Tree-LSTMを適用し、指示の構文に配慮した文脈表現を生成する。
• 構文に配慮した指示表現を、視覚特徴とクロスアテンション機構を介して融合し、グランドイングを向上させる。
• エージェントのナビゲーション方針は、視覚言語特徴がアライメントされた状態で条件付けられた行動予測を学習するため、模倣学習をエンドツーエンドで適用する。
• 本手法は、Room-to-Room (R2R) および Room-Across-Room (RxR) データセットの両方で評価され、多言語設定も含む。
• 実装のバリエーションとして、依存木上の平均プーリングと構文木の使用を用い、構文構造の寄与度をアブレーションする。

実験結果

リサーチクエスチョン

• RQ1 依存木に基づく構文構造は、視覚言語ナビゲーションにおけるクロスモーダルなアライメントを向上させるか？
• RQ2 フレーズレベルの構文情報を組み込むことで、未観測環境における一般化性能が向上するか？
• RQ3 構文に配慮した表現は、単語レベルのアテンションと比較して、ロバスト性および解釈可能性の観点で優れているか？
• RQ4 構文情報は、多言語指示従属タスクにおける性能向上にどの程度寄与するか？
• RQ5 構文情報の利点は、低リソース言語における依存解析器の品質に依存するか？

主な発見

• 提案された構文に配慮したモデルは、提出時における最新の手法を上回る、多言語対応のRoom-Across-Room (RxR) データセットにおける新たな最先端の成功確率を達成した。
• R2Rデータセットでは、未観測環境において3.5%の成功確率の向上を示し、強いゼロショット一般化性能を示した。
• RxRでは英語で0.7%、テルグ語で0.1%の向上を示したが、ヒンディー語で最も大きな向上を示し、解析器の品質が性能に影響を与える可能性を示唆した。
• 定性的な分析から、構文に配慮したエージェントは、指示フレーズと視覚的シーンをよりよく対応づけることが確認された。例えば、「棚のそばを歩き過ぎて」や「ガレージの外に出る」といった明確なナビゲーションステップを識別できた。
• アブレーションスタディの結果、依存木上の平均プーリングでは性能が約3%低下し、構文木を用いる場合は約2%の成功確率の低下が生じた。これは、依存木がより効果的であることを示している。
• モデルは単語レベルの過学習を低減し、視覚的アテンションマップの証拠から、より解釈可能でフレーズレベルのアライメントを学習していることが示された。