[論文レビュー] Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation

Peihao Chen, Dongyu Ji+5 more|arXiv (Cornell University)|Oct 14, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

本論文では、視覚および言語ナビゲーションのための弱教師ありマルチグレインマップであるWS-MGMapを提案する。この手法は、細分化された視覚的特徴（例：色、質感）と意味的クラスをトップダウンマップに統合する。経路に基づく粗い監督を用いた弱教師ありオブジェクト局在補助タスクを導入することで、指示に関連するオブジェクトをより正確に表現できるようになり、VLN-CEベンチマークにおいて、既存の最先端手法（SOTA）と比較して、既知の環境では4.0%、未知の環境では4.6%高い成功率を達成した。

ABSTRACT

We address a practical yet challenging problem of training robot agents to navigate in an environment following a path described by some language instructions. The instructions often contain descriptions of objects in the environment. To achieve accurate and efficient navigation, it is critical to build a map that accurately represents both spatial location and the semantic information of the environment objects. However, enabling a robot to build a map that well represents the environment is extremely challenging as the environment often involves diverse objects with various attributes. In this paper, we propose a multi-granularity map, which contains both object fine-grained details (e.g., color, texture) and semantic classes, to represent objects more comprehensively. Moreover, we propose a weakly-supervised auxiliary task, which requires the agent to localize instruction-relevant objects on the map. Through this task, the agent not only learns to localize the instruction-relevant objects for navigation but also is encouraged to learn a better map representation that reveals object information. We then feed the learned map and instruction to a waypoint predictor to determine the next navigation goal. Experimental results show our method outperforms the state-of-the-art by 4.0% and 4.6% w.r.t. success rate both in seen and unseen environments, respectively on VLN-CE dataset. Code is available at https://github.com/PeihaoChen/WS-MGMap.

研究の動機と目的

• 色、質感、素材などの細分化されたオブジェクト属性を正確に表現するための既存の意味的マップの限界を是正すること。
• マップベースのオブジェクト局在に高コストな手動アノテーションに依存するのを減らすために、弱教師あり補助タスクを導入すること。
• 意味的特徴と細分化された詳細情報を捉える識別的なマップ表現を学習することで、視覚および言語ナビゲーションにおけるゼロショット一般化を向上させること。
• 特に標準のセグメンテーションモデルが誤分類するオブジェクト（例：赤いカーペットを床と誤認するなど）の局在をより強固に可能にすること。

提案手法

• U-Netエンコーダーの最終層から抽出された細分化された視覚特徴を、標準的な意味的マップに追加することで、豊富な質感と色の情報を保持する。
• セグメンテーションモデルから得られる高次元の潜在特徴を、エゴセントリックなトップダウンマップに投影し、マルチグレイン表現を形成する。
• 経路に近い領域を正例として扱うことで、経路の近接性のみを監督信号として用いる弱教師あり局在ヘッドを導入する。これにより、手動アノテーションを回避できる。
• エージェントの経路から生成された粗い局在の正例を用い、経路に近い領域を関連オブジェクトの正例として扱う。
• エンド・トゥ・エンド学習により、マップエンコーダーとウェイポイント予測器を同時に学習し、補助タスクがナビゲーションのためのマップ表現を向上させる。
• 予測されたウェイポイントに向かって、低レベルの行動（例：前進、旋回）を実行するための標準的な市販のローカルポリシーを採用する。

実験結果

リサーチクエスチョン

• RQ1 意味的クラスと細分化された視覚的特徴を組み合わせたマルチグレインマップは、視覚および言語ナビゲーションのパフォーマンスを向上させることができるか？
• RQ2 経路に基づく監督のみを用いる弱教師あり局在補助タスクは、手動オブジェクトアノテーションを一切必要とせず、マップ表現を改善できるか？
• RQ3 標準のセグメンテーションモデルが誤分類するオブジェクト（例：赤いカーペットを床と誤認するなど）を、提案手法がよりよく局在化できるか？
• RQ4 特に複雑な指示に関連するオブジェクトの記述に対して、未知環境への一般化はどの程度達成できるか？

主な発見

• 提案手法のWS-MGMapは、VLN-CEベンチマークにおいて、既知の環境でSOTA手法と比較して4.0%高い成功率を達成した。
• 未知の環境では、現在のSOTAを4.6%上回る成功率を達成し、強力なゼロショット一般化性能を示した。
• U-Netエンコーダーの最終層特徴を用いることで最良のパフォーマンスが得られ、最初、中間、分類層特徴と比較して、すべての指標で優れた性能を示した。
• アブレーションスタディの結果、弱教師あり局在タスクが、特に「赤いカーペット」のように意味的ラベルが曖昧なオブジェクトの局在精度を顕著に向上させた。
• 定性的な結果から、WS-MGMapは、セグメンテーションモデルが失敗するケース（例：赤いカーペットを床と誤認する）においても、指示に関連するオブジェクトをベースラインより正確に局在化していることが確認された。
• モデルは色や質感といった細分化された属性を効果的に学習できており、2つのダイニングテーブルのように類似したオブジェクトをよりよく区別できるようになった。