[論文レビュー] Self-Supervised Visual Place Recognition Learning in Mobile Robots

Sudeep Pillai, John J. Leonard|arXiv (Cornell University)|May 11, 2019

Robotics and Sensor-Based Localization参考文献 40被引用数 6

ひとこと要約

本論文は、GPS支援ナビゲーションを用いてトレーニング用の正例および負例画像ペアをブートストラップする自己教師付きメトリック学習アプローチを提案し、モバイルロボットの視覚的場所認識に適用する。この手法は、類似した場所が密にグループ化されるキャリブレートされた埋め込み空間を学習し、ループクロージャ検出を顕著に向上させ、視覚的SLAMシステムにおけるロバストでドリフトのないトラジェクトリ推定を可能にする。

ABSTRACT

Place recognition is a critical component in robot navigation that enables it to re-establish previously visited locations, and simultaneously use this information to correct the drift incurred in its dead-reckoned estimate. In this work, we develop a self-supervised approach to place recognition in robots. The task of visual loop-closure identification is cast as a metric learning problem, where the labels for positive and negative examples of loop-closures can be bootstrapped using a GPS-aided navigation solution that the robot already uses. By leveraging the synchronization between sensors, we show that we are able to learn an appropriate distance metric for arbitrary real-valued image descriptors (including state-of-the-art CNN models), that is specifically geared for visual place recognition in mobile robots. Furthermore, we show that the newly learned embedding can be particularly powerful in disambiguating visual scenes for the task of vision-based loop-closure identification in mobile robots.

研究の動機と目的

• 視覚的場所認識におけるハンドクラフトされた記述子と固定された距離メトリックの限界を解消すること。
• モバイルロボットが経験から自己教師付きの方法で視覚的表現を学習・適応させることを可能にすること。
• 環境固有のメトリックを学習することで、外観の変化（例：天候、照明）に対するロバスト性を向上させること。
• 手動アノテーションを一切用いずに、実世界のロボット経験を用いて事前学習済みCNNをファインチューニングする方法を開発すること。
• 正確でキャリブレートされたループクロージャ制約を生成することで、視覚的SLAMのパフォーマンスを向上させること。

提案手法

• 本手法は、共有重みを持つシアンプソンニューラルネットワークを用いて、画像ペアのためのメトリック埋め込み空間を学習する。
• 時間的および空間的同期を活用して、GPS支援ナビゲーションデータを用いて正例および負例の画像ペアを自動的に生成する。
• 距離重み付きサンプリング戦略を用いたコントラスト損失によりモデルを訓練し、より多くの負例を優先する。
• サンプリングしきい値 τ^Rt = 0.9 を用いることで、視野の重なりが顕著な画像のみを潜在的な正例とみなす。
• 事前学習済みのPlaces205 AlexNetは、最終段の全結合層（fc6, fc7）でのみファインチューニングされ、それ以前の層は凍結される。
• ループクロージャ制約は、ポーズグラフに弱いゼロ回転および並進相対ポーズ制約として統合され、共分散は3mおよび0.3radに設定される。

実験結果

リサーチクエスチョン

• RQ1 GPS支援同期を活用することで、自己教師付きメトリック学習フレームワークが視覚的場所認識を改善できるか？
• RQ2 学習された埋め込み空間は、標準的なCNN記述子と比較して、視覚的に類似した場所をよりよく区別できるか？
• RQ3 本手法は、実世界のロボット運用環境に適応するための事前学習モデルの有効なファインチューニングを可能にするか？
• RQ4 学習されたメトリックは、オドメトリドリフト下でも長期的なトラジェクトリ正確性を向上させられるか？
• RQ5 本システムは、トレーニング中に使用されなかった新しいセッションに対しても、どれほど一般化できるか？

主な発見

• 提案手法は、負例と正例の重なりを低減するキャリブレートされた埋め込み空間を学習することで、ループクロージャ検出の正確性を顕著に向上させる。
• 学習されたメトリックは、KITTIおよびSt. Luciaデータセットを含む多様な環境でロバストな性能を発揮し、オドメトリドリフト下でも一貫したトラジェクトリ回復を実現する。
• 学習されたループクロージャ制約を用いたポーズグラフ最適化により、図9に示すようにKITTIシーケンス00およびSt. Luciaデータの両方でドリフトのない正確なトラジェクトリが得られる。
• トレーニングに使用されなかった新しいセッションに対しても、モデルは良好な一般化性能を示し、未観測環境への移行性と適応性を示す。
• クラス重みを用いた10倍の負例の使用により、トレーニングの安定性が向上し、メトリックの一般化性能が向上する。
• 本手法は、手動アノテーションを一切用いずに、自己教師付きのGPS支援監視により、事前学習済みCNN（Places205 AlexNet）の有効なファインチューニングを達成する。