[論文レビュー] Object-and-Action Aware Model for Visual Language Navigation

Yuankai Qi, Zizheng Pan+3 more|arXiv (Cornell University)|Jul 29, 2020

Multimodal Machine Learning Applications参考文献 20被引用数 7

ひとこと要約

本論文は、視覚言語ナビゲーションのためのオブジェクトおよびアクションに配慮したモデル（OAAM）を提案する。このモデルは、オブジェクトとアクションの指示を別々に処理する専用のアテンションモジュールを用いることで、言語を視覚的知覚や方向性により正確に対応付ける。本手法は、最短経路を促進する新しいパス損失を導入し、未学習環境においてR2Rで50%のSPL、R4Rで40%のCLSを達成し、最先端の性能を実現した。

ABSTRACT

Vision-and-Language Navigation (VLN) is unique in that it requires turning relatively general natural-language instructions into robot agent actions, on the basis of the visible environment. This requires to extract value from two very different types of natural-language information. The first is object description (e.g., 'table', 'door'), each presenting as a tip for the agent to determine the next action by finding the item visible in the environment, and the second is action specification (e.g., 'go straight', 'turn left') which allows the robot to directly predict the next movements without relying on visual perceptions. However, most existing methods pay few attention to distinguish these information from each other during instruction encoding and mix together the matching between textual object/action encoding and visual perception/orientation features of candidate viewpoints. In this paper, we propose an Object-and-Action Aware Model (OAAM) that processes these two different forms of natural language based instruction separately. This enables each process to match object-centered/action-centered instruction to their own counterpart visual perception/action orientation flexibly. However, one side-issue caused by above solution is that an object mentioned in instructions may be observed in the direction of two or more candidate viewpoints, thus the OAAM may not predict the viewpoint on the shortest path as the next action. To handle this problem, we design a simple but effective path loss to penalize trajectories deviating from the ground truth path. Experimental results demonstrate the effectiveness of the proposed model and path loss, and the superiority of their combination with a 50% SPL score on the R2R dataset and a 40% CLS score on the R4R dataset in unseen environments, outperforming the previous state-of-the-art.

研究の動機と目的

• オブジェクトの記述とアクションの命令が別々に処理を必要とする視覚ナビゲーションにおいて、多様な自然言語指示を視覚的知覚に正しく対応付ける課題に対処する。
• 既存のモデルがオブジェクトとアクションのエンコーディングを混合しているため、視覚的特徴や方向性特徴との整合性が不十分になるという制限を克服する。
• 視覚的知覚（オブジェクトの認識）と方向性のアクション（移動の指示）の明確な区別を明示的にモデル化することで、未学習環境におけるナビゲーションの頑健性を向上させる。
• 複数の視点にターゲットオブジェクトが存在する場合に最適でない経路選択が生じる問題を緩和するため、真の経路からのずれをペナルティとするパス損失を導入する。
• 特に未学習環境へのゼロショット一般化性能を向上させることを目的として、標準的なVLNベンチマークで最先端の性能を達成する。

提案手法

• 自然言語指示内のオブジェクト関連およびアクション関連のフレーズを別々に強調する2つの学習可能なアテンションモジュールを採用する。
• オブジェクトに配慮したアテンションマップを用いて、指示のフレーズと候補視点の視覚的特徴とのマッチング（オブジェクト-視覚マッチング）をガイドする。
• アクションに配慮したアテンションマップを用いて、指示のフレーズと方向性埋め込みとのマッチング（アクション-方向性マッチング）を、視覚的知覚とは独立してガイドする。
• 指示と視覚的文脈の両方に注目する動的アテンション機構を用いて、オブジェクト-視覚およびアクション-方向性モジュールの出力を統合する。
• エージェントの現在位置と最適経路に沿う真の視点までのL2距離に基づくパス損失を導入し、最短経路ナビゲーションを促進する。
• 交差エントロピーとパス損失を併用したアシスト学習により、エンドツーエンドでモデルを訓練し、精度と経路効率の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 自然言語指示内のオブジェクト記述とアクション仕様のエンコーディングを分離することで、視覚的対応付けとナビゲーション性能が向上するか？
• RQ2 オブジェクトとアクション情報を独立して処理するモジュラーなアーキテクチャが、未学習環境での一般化性能を向上させるか？
• RQ3 パスに配慮した損失関数が、精度指標に依存せずに経路のずれを効果的に低減し、ナビゲーション効率を向上させられるか？
• RQ4 提案されたOAAMモデルは、標準的なVLNベンチマークにおける成功確率、SPL、CLSの観点で、最先端手法と比較してどのように差をつけるか？
• RQ5 個々のモジュール（オブジェクトに配慮した、アクションに配慮した、および統合モジュール）が最終的なナビゲーション成功にどの程度寄与しているか？

主な発見

• OAAMモデルは、未学習環境におけるR2Rデータセットで50%のSPLスコアを達成し、新たな最先端性能を樹立した。
• R4Rデータセットでは、未学習環境で40%のCLSスコアを達成し、2番目に良い手法より3%高い水準であり、新たなSOTAを記録した。
• R4Rデータセットの未学習スプリットにおいて、強力なベースラインであるEnvDropよりもCLSで最大6%向上した。
• アブレーションスタディの結果、オブジェクトおよびアクションに配慮した設計とパス損失の両方が最適な性能を発揮するために不可欠であり、その組み合わせが最も優れた結果をもたらした。
• 定性的な分析から、中間段階で個々のモジュール（OAまたはAA）が誤った予測を下した場合でも、適応的統合機構のおかげで最終的なアクション予測は正しく保たれていることがわかった。
• パス損失は、精度指標が類似している場合でも、TL（経路長）が低いという点で、経路のずれを効果的に低減していることが実証された。