[論文レビュー] SASRA: Semantically-aware Spatio-temporal Reasoning Agent for Vision-and-Language Navigation in Continuous Environments

Muhammad Zubair Irshad, Niluthpol Chowdhury Mithun+4 more|arXiv (Cornell University)|Aug 26, 2021

Multimodal Machine Learning Applications参考文献 45被引用数 4

ひとこと要約

本論文では、連続的3次元環境におけるビジョンアンドランゲージナビゲーションのための意味的注意型時空間推論エージェントSASRAを提案する。トランスフォーマーに基づくクロスモーダルアテンション機構とハイブリッド再帰モデルを組み合わせ、トップダウン型の意味的マップを構築し、言語指示と一致させる。構造的意味的マッピングと注意型クロスモーダル推論により空間認識力と時間的記憶力を強化することで、未知の環境において最先端のベースライン比でSPLが22%相対的に向上した。

ABSTRACT

This paper presents a novel approach for the Vision-and-Language Navigation (VLN) task in continuous 3D environments, which requires an autonomous agent to follow natural language instructions in unseen environments. Existing end-to-end learning-based VLN methods struggle at this task as they focus mostly on utilizing raw visual observations and lack the semantic spatio-temporal reasoning capabilities which is crucial in generalizing to new environments. In this regard, we present a hybrid transformer-recurrence model which focuses on combining classical semantic mapping techniques with a learning-based method. Our method creates a temporal semantic memory by building a top-down local ego-centric semantic map and performs cross-modal grounding to align map and language modalities to enable effective learning of VLN policy. Empirical results in a photo-realistic long-horizon simulation environment show that the proposed approach outperforms a variety of state-of-the-art methods and baselines with over 22% relative improvement in SPL in prior unseen environments.

研究の動機と目的

• 連続的3次元環境におけるビジョンアンドランゲージナビゲーション（VLN）の一般化ギャップを解消すること。既存のエンドツーエンドモデルは意味的および時間的推論能力に限界があるため失敗する。
• 古典的意味的マッピングとディープラーニングを統合し、ナビゲーションエージェントの空間的・時間的認識能力を向上させること。
• 環境の持続的かつ意味的に根拠のある記憶を構築することで、未知の環境へのゼロショット一般化を向上させること。
• DAGGERに基づくアシスト学習を用いてポリシー学習中の露出バイアスを軽減し、推論時のロバスト性を向上させること。

提案手法

• エージェントは各タイムステップでRGBおよび深度観測から、学習された意味的セグメンテーションヘッドを用いてエゴセントリックなトップダウン意味的マップを構築する。
• 言語指示と意味的マップの両方に注目できる新規の2次元クロスモーダル意味的言語的アテンションマップトランスフォーマー（SLAM-T）を導入し、クロスモーダルの接地を可能にする。
• トランスフォーマー暗黙エンコーダーによるグローバルコンテキストモデリングとLSTMによる逐次的状態追跡を組み合わせたハイブリッド再帰モジュールを採用し、タイムステップ間での長期記憶を保持する。
• 離散的および連続的アクションヘッドを統合したハイブリッドアーキテクチャ（HAD）をアクションデコーダーとして採用し、微細なナビゲーション意思決定を生成する。
• 露出バイアスを低減し、推論時のロバスト性を向上させるために、DAGGER（データセット集約）を用いたアシスト学習によりポリシーを学習する。
• イミュレーション学習とカリキュラムベースの監視を組み合わせ、VLN-CEデータセット上でエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 構造的意味的記憶を有するハイブリッドトランスフォーマー再帰アーキテクチャは、未知の連続的3次元環境におけるビジョンアンドランゲージナビゲーションの一般化を改善できるか？
• RQ2 言語指示と学習された意味的マップの間のクロスモーダルアテンションは、長距離ナビゲーションを効果的にガイドできるか？
• RQ3 トップダウン型意味的マップを組み込むことで、原始的な視覚入力のみに依存する場合と比較して、空間的推論能力がどの程度向上し、ナビゲーションエラーが減少するか？
• RQ4 DAGGERベースの学習は、教師強制（teacher forcing）と比較して、VLN-CEにおける露出バイアスを顕著に低減し、ポリシーのロバスト性を向上させるか？
• RQ5 意味的マッピング、SLAM-T、HAD、DAGGERといった個々のモジュールは、全体のパフォーマンス向上にどの程度寄与しているか？

主な発見

• SASRAは、未知の環境において最先端のベースライン比でSPLが22%相対的に向上した。
• SLAM-Tモジュールの導入により、成功確率（SR）が4%絶対的に増加し、SPLが3%絶対的に増加した。これはクロスモーダルアテンションの有効性を示している。
• ハイブリッドアクションデコーダー（HAD）は、標準のRNNベースのデコーダーと比較して、SRおよびSPLの両方で5%の絶対的向上を達成した。これはアクション生成におけるHADの重要性を示している。
• DAGGER学習により、教師強制と比較してSRおよびSPLの両方で9%の絶対的向上が得られた。これは露出バイアス低減の有効性を裏付けている。
• 定性的分析では、エージェントが未知の環境で複雑で長距離の指示（例：62ステップ）を正しく解釈し、意味的文脈がある場合に曖昧な表現（例：'step outside'）を正しく処理してナビゲートできた。
• アブレーションスタディの結果、意味的マッピング、SLAM-T、HAD、DAGGERの組み合わせが最適パフォーマンスを発揮するために不可欠であり、各モジュールが最終結果に顕著に寄与していることが確認された。