[論文レビュー] CNN Feature boosted SeqSLAM for Real-Time Loop Closure Detection

Dongdong Bai, Chaoqun Wang+3 more|arXiv (Cornell University)|Apr 17, 2017

Robotics and Sensor-Based Localization参考文献 13被引用数 3

ひとこと要約

本稿では、視点変化および環境条件の変化に対して耐性を持つ、事前学習済みCNN特徴（特にpool5層）とシーケンスベースのマッチングを融合したリアルタイムなループ閉じ込み検出手法SeqCNNSLAMを提案する。時間的プライオリティを用いてマッチング範囲を制限することで実行時高速化を実現したA-SeqCNNSLAM、およびオンラインでのパrameter調整を可能にするO-SeqCNNSLAMを導入し、精度の損失を最小限に抑えつつ4–6倍の高速化を達成。ベンチマークデータセット上でも最先端の性能を維持している。

ABSTRACT

Loop closure detection (LCD) is an indispensable part of simultaneous localization and mapping systems (SLAM); it enables robots to produce a consistent map by recognizing previously visited places. When robots operate over extended periods, robustness to viewpoint and condition changes as well as satisfactory real-time performance become essential requirements for a practical LCD system. This paper presents an approach to directly utilize the outputs at the intermediate layer of a pre-trained convolutional neural network (CNN) as image descriptors. The matching location is determined by matching the image sequences through a method called SeqCNNSLAM. The utility of SeqCNNSLAM is comprehensively evaluated in terms of viewpoint and condition invariance. Experiments show that SeqCNNSLAM outperforms state-of-the-art LCD systems, such as SeqSLAM and Change Removal, in most cases. To allow for the real-time performance of SeqCNNSLAM, an acceleration method, A-SeqCNNSLAM, is established. This method exploits the location relationship between the matching images of adjacent images to reduce the matching range of the current image. Results demonstrate that acceleration of 4-6 is achieved with minimal accuracy degradation, and the method's runtime satisfies the real-time demand. To extend the applicability of A-SeqCNNSLAM to new environments, a method called O-SeqCNNSLAM is established for the online adjustment of the parameters of A-SeqCNNSLAM.

研究の動機と目的

• 長期間にわたるロボットナビゲーションにおいて、視点変化と環境条件の変化が重複する状況下での耐障害性の高いループ閉じ込み検出の課題に取り組む。
• 計算複雑度の低減により、CNNベースのループ閉じ込み検出のリアルタイム性能を向上させつつ、精度を損なわないようにする。
• 再トレーニングを伴わずに、新規または未知の環境へのアルゴリズムの適応を可能にする。
• 中間層のCNN特徴（特にpool5）が、環境的および視点的変化に対して不変性を高める効果があるかどうかを評価する。

提案手法

• 視点変化や環境条件の変化に対し不変な特徴を捉えるために、事前学習済みCNN（例：AlexNet）のpool5層を画像記述子として利用する。
• シーケンスベースのマッチング（SeqSLAM）を用いて、CNN記述子を用いた画像シーケンスの比較を実施し、環境的変化に対する耐性を向上させる。
• 隣接する画像間の順序的関係を活用することで、各画像のマッチング範囲を制限するA-SeqCNNSLAMを導入し、計算を高速化する。
• O-SeqCNNSLAMでは、履歴マッチング位置とシーン変化検出に基づいて、マッチング範囲（K）をオンラインで動的に更新するパrameter調整メカニズムを採用する。
• CNN記述子間のユークリッド距離に基づく変化度指標を用い、顕著なシーンシフトを検出し、Kの再初期化をトリガーする。
• 最後の10枚の画像をスライディングウインドウとして用い、画像マッチングラベル（IML）を計算し、シーン安定性が検出された際にKをIMLの最大値に動的に設定する。

実験結果

リサーチクエスチョン

• RQ1 中間層のCNN特徴（例：pool5）は、視点変化および環境条件の変化の両方に対して、ループ閉じ込み検出の耐障害性を向上させることができるか？
• RQ2 CNN記述子を用いたシーケンスベースのマッチングは、従来の手法（例：SeqSLAM や Change Removal）を上回る効果を示すか？
• RQ3 時間的プライオリティを用いたマッチング範囲の制限により、精度の低下を最小限に抑えつつ、どの程度の速度向上が達成できるか？
• RQ4 マッチング範囲（K）のオンラインパrameter調整により、再トレーニングなしに新しい環境への適応性を高めることができるか？

主な発見

• SeqCNNSLAMは、複数のデータセットにおいて、SeqSLAM や Change Removal といった最先端手法を上回る耐障害性を示した。
• A-SeqCNNSLAMは、ベースラインのSeqCNNSLAMと同等の精度を維持しながら、4–6倍の高速化を達成し、リアルタイム要件を満たした。
• O-SeqCNNSLAMは、Nordlandデータセット（12.5%のシフト）においてA-SeqCNNSLAMと同等の性能を示し、新しい環境へのオンライン適応が有効であることを示した。
• O-SeqCNNSLAMにおけるKのオンライン調整は、シーン遷移時においても性能を安定的に維持しており、変化度指標が1.1を超えるか、0.9未満になると再初期化が発動した。
• ds=80の場合のO-SeqCNNSLAMの実行時間は121.494秒、ds=100の場合には151.932秒であり、スケーラビリティとリアルタイム実行可能性が確認された。