[論文レビュー] MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation

Marvin Chancán, Michael Milford|arXiv (Cornell University)|Mar 2, 2020

Robotics and Sensor-Based Localization参考文献 90被引用数 8

ひとこと要約

本論文は、視覚的場所認識（VPR）とモーショングレーディング（例えば、ビジュアルオドメトリ、レーダーオドメトリ）を統合する包括的な自己教師ありフレームワークMVPを提案する。これにより、ロバストで大規模なロボットナビゲーションが可能となる。強化学習ポリシー内でコンパクトな視覚的およびモーショングレーディング表現を時間的に統合することで、GPSが不良な状況下でもオックスフォード・ロボットカー・データセットで93%の成功率を達成。視覚のみの手法よりも顕著に優れている（7%）。

ABSTRACT

Autonomous navigation emerges from both motion and local visual perception in real-world environments. However, most successful robotic motion estimation methods (e.g. VO, SLAM, SfM) and vision systems (e.g. CNN, visual place recognition-VPR) are often separately used for mapping and localization tasks. Conversely, recent reinforcement learning (RL) based methods for visual navigation rely on the quality of GPS data reception, which may not be reliable when directly using it as ground truth across multiple, month-spaced traversals in large environments. In this paper, we propose a novel motion and visual perception approach, dubbed MVP, that unifies these two sensor modalities for large-scale, target-driven navigation tasks. Our MVP-based method can learn faster, and is more accurate and robust to both extreme environmental changes and poor GPS data than corresponding vision-only navigation methods. MVP temporally incorporates compact image representations, obtained using VPR, with optimized motion estimation data, including but not limited to those from VO or optimized radar odometry (RO), to efficiently learn self-supervised navigation policies via RL. We evaluate our method on two large real-world datasets, Oxford Robotcar and Nordland Railway, over a range of weather (e.g. overcast, night, snow, sun, rain, clouds) and seasonal (e.g. winter, spring, fall, summer) conditions using the new CityLearn framework; an interactive environment for efficiently training navigation agents. Our experimental results, on traversals of the Oxford RobotCar dataset with no GPS data, show that MVP can achieve 53% and 93% navigation success rate using VO and RO, respectively, compared to 7% for a vision-only method. We additionally report a trade-off between the RL success rate and the motion estimation precision.

研究の動機と目的

• 極端な視覚的変動およびGPSの変動が生じる大規模かつ現実世界の環境における、視覚のみのナビゲーションの限界を克服すること。
• GPSデータが不良または欠落している状況、および深刻な天候変化・季節的変化下でも、ナビゲーションポリシーのロバスト性と一般化性能を向上させること。
• ビジュアルオドメトリ（VO）やレーダーオドメトリ（RO）などのモーショングレーディングを、コンパクトなVPR特徴と統合して強化学習ベースのナビゲーションを強化すること。
• 長期間にわたる困難な移動において、正確なモーショングレーディングがナビゲーション成功確率を著しく向上させることを実証すること。

提案手法

• 長期間にわたる視覚的表現を可能にするために、深層学習に基づく視覚的場所認識（VPR）を用いてコンパクトな画像埋め込みを抽出する。
• ビジュアルオドメトリ（VO）やレーダーオドメトリ（RO）などのモーショングレーディングデータを、ポリシー・ネットワークへの時間的入力として統合する。
• ゴール指向のナビゲーションを実現するため、VPR埋め込みとモーショングレーディング推定値を統合的に処理する強化学習（RL）ポリシーを訓練する。
• 都市環境の多様な条件下でのナビゲーションエージェントの効率的でインタラクティブな訓練を可能にするため、CityLearnフレームワークを活用する。
• 視覚的およびモーショングレーディングモダリティを時間的に統合する統一されたネットワークアーキテクチャを設計し、ポリシーの一般化性能を向上させる。
• 極端な天候や季節的変化にさらされる大規模な実世界データセット2つ（オックスフォード・ロボットカーおよびノールランド鉄道）を用いて、システムを評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的場所認識とモーショングレーディングを統合することで、GPSが不良な大規模かつ現実世界の環境におけるナビゲーションのロバスト性が向上するか？
• RQ2 正確なモーショングレーディングデータ（例：VO、RO）の統合が、視覚的およびGPSの変動下におけるRLベースのナビゲーションポリシーの成功確率に与える影響はいかほどか？
• RQ3 夜間、雪、厚い曇りなどの極端な環境条件下で、MVPは視覚のみのナビゲーションシステムをどの程度上回るか？
• RQ4 自己教師ありでゴール指向のナビゲーションにおいて、モーショングレーディングの精度とナビゲーション成功確率のトレードオフはどのようなものか？
• RQ5 顕著な視覚的および環境的変化が生じる月単位の間隔を空けた移動において、MVPは一般化性能を示せるか？

主な発見

• GPSデータが完全に利用不可のオックスフォード・ロボットカー・データセットにおいて、MVPはレーダーオドメトリ（RO）を用いて93%のナビゲーション成功率を達成した。一方、視覚のみの手法ではたった7%であった。
• ビジュアルオドメトリ（VO）を用いた場合、MVPはGPSが不良な状況下でも53%の成功率を達成し、視覚のみのベースライン手法よりも顕著な改善を示した。
• ノールランド鉄道データセットにおいて、MVP-GPSは冬季の条件下で94%の成功率を達成した。これに対して、視覚のみのエージェントは86%の成功率にとどまった。
• 図2右のトレードオフ分析から、より高いモーショングレーディング精度がRLの成功確率の向上と相関していることが示され、モーショングレーディングデータがポリシー性能を向上させることを裏付けた。
• MVPベースのエージェントは、オックスフォード・ロボットカー・データセットの全移動において、日中から夜間、曇りから雪への顕著な変化に対しても、遠方のターゲットに到達できた。一方、視覚のみのエージェントは同様の条件下で失敗した。
• GPSデータが完全に利用不可または信頼できない状況下でも、本手法はロバストに機能し、長期間にわたる大規模ナビゲーションにおけるモーショングレーディングと視覚の統合の価値を実証した。