[論文レビュー] Convolutional Neural Network-Based Image Representation for Visual Loop Closure Detection

Yi Hou, Hong Zhang+1 more|arXiv (Cornell University)|Apr 20, 2015

Robotics and Sensor-Based Localization参考文献 18被引用数 14

ひとこと要約

本論文では、SLAMにおける視覚的ループ閉じ込み検出のための画像記述子として、中間層からの事前学習済み畳み込みニューラルネットワーク（CNN）特徴量を用いることを提案する。実験により、照明の変化が著しい状況下でもCNNベースの表現が最先端の手作業特徴量を上回ることを示しており、特にエントリーレベルのGPU上では、最大で2桁（100倍）速く特徴抽出が可能である。これは、リアルタイムのロボット応用に最適であることが示された。

ABSTRACT

Deep convolutional neural networks (CNN) have recently been shown in many computer vision and pattern recog- nition applications to outperform by a significant margin state- of-the-art solutions that use traditional hand-crafted features. However, this impressive performance is yet to be fully exploited in robotics. In this paper, we focus one specific problem that can benefit from the recent development of the CNN technology, i.e., we focus on using a pre-trained CNN model as a method of generating an image representation appropriate for visual loop closure detection in SLAM (simultaneous localization and mapping). We perform a comprehensive evaluation of the outputs at the intermediate layers of a CNN as image descriptors, in comparison with state-of-the-art image descriptors, in terms of their ability to match images for detecting loop closures. The main conclusions of our study include: (a) CNN-based image representations perform comparably to state-of-the-art hand- crafted competitors in environments without significant lighting change, (b) they outperform state-of-the-art competitors when lighting changes significantly, and (c) they are also significantly faster to extract than the state-of-the-art hand-crafted features even on a conventional CPU and are two orders of magnitude faster on an entry-level GPU.

研究の動機と目的

• 事前学習済みCNN特徴量をSLAMにおける視覚的ループ閉じ込み検出のための画像記述子として有効性を評価すること。
• 照明条件の変化に応じたマッチング精度を評価し、CNNベースの記述子と最先端の手作業特徴量（例：BoVW、GIST、FV、VLAD）を比較すること。
• CPUおよびGPU上でのCNNベースの記述子と従来の手作業特徴量の計算効率を分析すること。
• ループ閉じ込み検出に適したコン act かつ正確で頑健な画像表現を得るために、最適なCNN層を同定すること。

提案手法

• 微調整なしに、Placesデータセットで事前学習済みのCNNモデルを用いて特徴抽出を行う。
• CNNの中間層（例：CONV3、POOL5、FC6）から画像記述子を抽出し、空間情報を保持するために全結合層を避ける。
• 標準的な画像マッチングパイプラインを採用：記述子抽出、特徴マッチング、および精度-再現率評価を用いたループ閉じ込み検出。
• 照明変化あり・なしの両状態で、City Centre、New College、UA Campusの3つのベンチマークデータセットを評価する。
• 効率性を評価するため、CPU（Matlabラッパー）およびGPU（Caffe C++コード）での実行時間を測定する。
• 標準的な指標として、精度-再現率曲線および平均精度（AP）を用い、記述子間のマッチング性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 通常の照明条件下では、CNNベースの画像記述子は手作業特徴量と比べてどの程度の性能を示すか？
• RQ2 ロボット走行中に照明条件が著しく変化した場合、CNNベースの記述子はどの程度の性能を示すか？
• RQ3 CPUおよびGPU上でのCNNベースの記述子と最先端の手作業特徴量の計算効率は、それぞれどのように比較されるか？
• RQ4 事前学習済みCNNの中間層のうち、どの層がループ閉じ込み検出において、精度と記述子のコンパクトさの最良のトレードオフを達成するか？
• RQ5 画像分類では成功を収めた全結合層（例：FC6）が、なぜループ閉じ込み検出では性能が劣るのか？

主な発見

• 照明の変化が著しくない環境では、CNNベースの記述子はBoVW や GIST などの最先端の手作業特徴量と同等の性能を示す。
• 著しい照明変化（例：UA Campusデータセット）下では、CNNベースの記述子が手作業特徴量を上回り、POOL5層が最高の平均精度を達成した。
• FC6層は照明変化に対してやや脆弱であるが、BoVW や GIST 記述子を依然として上回る性能を示した。
• 従来のCPU上では、CNN記述子はGISTよりも約3倍速く、他の手作業特徴量よりも10倍速く、1枚あたりの平均抽出時間は0.155秒であった。
• エントリーレベルのGPU（NVIDIA Quadro K4200）上では、CNN記述子の抽出時間が1枚あたり0.019秒にまで短縮され、手作業特徴量よりも2桁（100倍）速くなった。
• POOL5層は、検出精度と記述子のコンパクトさの両面で最良のバランスを示し、視覚的ループ閉じ込み検出に最適な選択肢である。