[論文レビュー] DeepSeqSLAM: A Trainable CNN+RNN for Joint Global Description and Sequence-based Place Recognition

Marvin Chancán, Michael Milford|arXiv (Cornell University)|Nov 17, 2020

Robotics and Sensor-Based Localization参考文献 53被引用数 13

ひとこと要約

本論文では、モノクロナル画像シーケンスから視覚的および位置的表現を共同で学習するトレーニング可能なCNN+RNNアーキテクチャ、DeepSeqSLAMを提案する。この手法は、計算コストの高いヒューリスティックベースの逐次マッチングをエンド・ツー・エンド学習に置き換えることで、極端な外観変化下でも強力な場所認識を実現する。2フレームのシーケンス長でNordlandデータセットで72% AUCを達成し、SeqSLAM（2%）およびDelta Descriptors（27%）を著しく上回る性能を発揮する一方、CPU上でのデプロイ時間は70分から1分に短縮された。

ABSTRACT

Sequence-based place recognition methods for all-weather navigation are well-known for producing state-of-the-art results under challenging day-night or summer-winter transitions. These systems, however, rely on complex handcrafted heuristics for sequential matching - which are applied on top of a pre-computed pairwise similarity matrix between reference and query image sequences of a single route - to further reduce false-positive rates compared to single-frame retrieval methods. As a result, performing multi-frame place recognition can be extremely slow for deployment on autonomous vehicles or evaluation on large datasets, and fail when using relatively short parameter values such as a sequence length of 2 frames. In this paper, we propose DeepSeqSLAM: a trainable CNN+RNN architecture for jointly learning visual and positional representations from a single monocular image sequence of a route. We demonstrate our approach on two large benchmark datasets, Nordland and Oxford RobotCar - recorded over 728 km and 10 km routes, respectively, each during 1 year with multiple seasons, weather, and lighting conditions. On Nordland, we compare our method to two state-of-the-art sequence-based methods across the entire route under summer-winter changes using a sequence length of 2 and show that our approach can get over 72% AUC compared to 27% AUC for Delta Descriptors and 2% AUC for SeqSLAM; while drastically reducing the deployment time from around 1 hour to 1 minute against both. The framework code and video are available at https://mchancan.github.io/deepseqslam

研究の動機と目的

• 手作業で設計されたヒューリスティクスに依存する従来のシーケンスベースの場所認識手法の高い計算コストと非効率性を解消すること。
• 短いシーケンス長（例：2フレーム）で失敗する既存手法の限界を克服し、リアルタイムデプロイに不可欠な短いシーケンスを対応可能にすること。
• 1つのモノクロナル走査により、視覚的および位置的表現をエンド・ツー・エンドでトレーニング可能にする。事前に整合化された参照シーケンスとクエリシーケンスの必要性を排除すること。
• CPUまたはGPU上で効率的に動作するスケーラブルでデプロイ可能なシステムを構築し、自律走行車両への応用に適すること。
• 速度情報やGPS事前知識なしに、日付変化や季節的移行を含む極端な環境変化下でも高い性能を維持すること。

提案手法

• 各フレームからコンactなグローバル画像記述子を抽出するため、事前に訓練されたCNNを用いる。
• 抽出された記述子をRNN（LSTMまたはGRU）に供給し、時間的依存性をモデル化し、視覚的および位置的記述子を生成する。
• 視覚オドメトリや他のモーション推定ソースからの位置情報の監視を用いて、CNN+RNNパイプライン全体をエンド・ツー・エンドでトレーニングする。
• 推論時、学習済み記述子のコサイン距離またはユークリッド距離を用いて類似度行列を計算し、ヒューリスティックマッチングを置き換える。
• クエリシーケンス長に依存しないアーキテクチャを設計し、参照とクエリの走査間のアライメントを必要としない。
• PyTorchを用いて実装し、CPU、GPU、またはマルチGPUクラスタ上で効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能なCNN+RNNアーキテクチャは、極端な外観変化下でも、視覚的および位置的表現を共同で学習し、シーケンスベースの場所認識を向上させることができるか？
• RQ2 短いシーケンス長（特に2フレーム）においても、SeqSLAM や Delta Descriptors といった従来のシーケンスベース手法に比べ、精度と推論速度の両面で優れているか？
• RQ3 Nordland（728 km）やOxford RobotCar（10 km）といった長期的・大規模なデータセットにおいて、季節的および照明変化下でもモデルは高い性能を維持できるか？
• RQ4 ヒューリスティックベースの逐次マッチングと比較して、エンド・ツー・エンド学習のパラダイムは計算オーバーヘッドをどの程度低減できるか？
• RQ5 本手法は速度情報やGPSデータなしに、CPU上でデプロイ可能であり、マルチGPUシステムにスケーラブルに拡張可能か？

主な発見

• DeepSeqSLAMは、2フレームのシーケンスのみを用いてNordlandデータセットで72% AUCを達成し、SeqSLAM（2% AUC）およびDelta Descriptors（27% AUC）を著しく上回った。
• 全728 kmのNordlandルートにおけるデプロイ時間は、SeqSLAMの70分およびDelta Descriptorsの51分から、CPU上ではわずか1分に短縮された。
• RNNによる時間的モデリングを通じた視覚的および位置的特徴の共同学習のおかげで、季節的および照明変化の変化に対しても良好な一般化性能を示した。
• 視覚的シフトにもかかわらず、CNNが判別力のある特徴を抽出できる能力のおかげで、視点変化や動的オブジェクトに対してもフレームワークは頑健であった。
• 計算効率が高く、CPU、GPU、またはマルチGPUクラスタ上でデプロイ可能であり、自律走行のリアルタイム利用に適している。
• ソースコードおよび動画はmchancan.github.io/deepseqslamで公開されており、コミュニティによる再利用や拡張を支援している。