[論文レビュー] Simultaneous Mapping and Target Driven Navigation

Georgios Georgakis, Yimeng Li+1 more|arXiv (Cornell University)|Nov 18, 2019

Robotics and Sensor-Based Localization参考文献 28被引用数 11

ひとこと要約

本論文は、未確認の屋内環境における同時地図作成とターゲット駆動型ナビゲーションのためのモジュラー枠組みを提案する。2.5次元のアロセントリック地図にRGB画像、セマンティックセグメンテーション、オブジェクト検出から得られるセマンティック特徴を統合することで、ポーズ推定と地図登録のためのマッピングモジュールと、ターゲットオブジェクトに到達するためのセマンティック地図を活用するナビゲーションポリシーを共同で訓練することで、局所化精度とナビゲーション成功確率の両方を向上させ、AVDおよびMatterport3Dデータセットで最先端の性能を達成した。

ABSTRACT

This work presents a modular architecture for simultaneous mapping and target driven navigation in indoors environments. The semantic and appearance stored in 2.5D map is distilled from RGB images, semantic segmentation and outputs of object detectors by convolutional neural networks. Given this representation, the mapping module learns to localize the agent and register consecutive observations in the map. The navigation task is then formulated as a problem of learning a policy for reaching semantic targets using current observations and the up-to-date map. We demonstrate that the use of semantic information improves localization accuracy and the ability of storing spatial semantic map aids the target driven navigation policy. The two modules are evaluated separately and jointly on Active Vision Dataset and Matterport3D environments, demonstrating improved performance on both localization and navigation tasks.

研究の動機と目的

• エンドツーエンドのナビゲーションモデルが明示的な空間表現を欠き、正確な局所化を仮定するという限界を解消すること。
• 学習された2.5次元アロセントリック地図にセマンティックおよび外観特徴を統合することで、局所化精度を向上させること。
• オブジェクトの位置と文脈的情報をエンコードするセマンティック空間地図を活用することで、ターゲット駆動型ナビゲーションを強化すること。
• 実環境および合成環境におけるマッピングモジュールとナビゲーションモジュールの統合的性能を評価すること。
• セマンティック地図のモダリティ、ファインチューニング、エゴセントリック観測がナビゲーションポリシー性能に与える影響を調査すること。

提案手法

• マッピングモジュールは、MapNetにインspiredされたアーキテクチャを用い、RGB画像、セマンティックセグメンテーション出力、オブジェクト検出器の予測から2.5次元のアロセントリック空間表現を学習・更新する。
• 畳み込みニューラルネットワークの出力からセマンティック特徴を抽出し、連続的空間記憶に埋め込むことで、局所化とマップ登録を向上させる。
• ナビゲーションポリシーは、深層強化学習を用いて訓練され、現在のエゴセントリック観測、エージェントの予測ポーズ、および部分的な空間地図を入力として受ける。
• マッピングモジュールとナビゲーションモジュールを共同で最適化することで、地図がナビゲーションをガイドし、ナビゲーション経験が地図を精緻化する仕組みを実現する。
• アブレーションスタディでは、異なる地図モダリティ（RGB、セマンティックセグメンテーション、オブジェクト検出）、ファインチューニング、エゴセントリック観測の寄与度を評価する。
• 微分可能な空間記憶を用いることで、局所化およびナビゲーションコンponentのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2.5次元アロセントリック地図にセマンティックおよび外観特徴を統合することで、RGBのみの地図と比較して、局所化精度がどの程度向上するか？
• RQ2 未確認環境におけるターゲット駆動型ナビゲーションポリシーの性能は、セマンティック地図のおかげでどの程度向上するか？
• RQ3 RGB、セマンティックセグメンテーション、オブジェクト検出特徴の各モダリティが最終的なナビゲーション性能に果たす相対的寄与度は何か？
• RQ4 マップモジュールのファインチューニングは、マップを入力として使用する際のナビゲーションポリシーの一般化性能を向上させるか？
• RQ5 エゴセントリック観測は、オクルージョンやセンサ制限に対処するため、アロセントリック地図とどのように補完的であるか？

主な発見

• アクティブビジョンデータセットでは、最良のナビゲーションモデル（Nav-SSeg-Det）が64.6％の成功率を達成し、RGBのみのベースライン（60.1％）を4.5ポイント上回った。
• Matterport3Dでは、すべてのモダリティを用いたモデル（Nav-RGB-SSeg-Det）が69.5％の成功率を達成し、RGBのみのベースライン（66.7％）およびセマンティックのみのモデル（62.9％）を顕著に上回った。
• アブレーションスタディの結果、マップモジュールのファインチューニングを除外すると性能が約5–7ポイント低下したため、共同最適化が極めて重要であることが示された。
• エゴセントリック観測を除外した場合、成功率が約4％低下したため、深度センサの制限に近接した状況での対処において、その価値が確認された。
• オブジェクト検出を統合したセマンティック地図が最も低い局所化誤差を示し、空間推論に有効であることが裏付けられた。
• 平均パス長比は非学習ベースラインを下回り、ポリシーがセマンティックキューを活用してより効率的にナビゲートすることを示した。