[论文解读] Convolutional Neural Network-Based Image Representation for Visual Loop Closure Detection

Yi Hou, Hong Zhang+1 more|arXiv (Cornell University)|Apr 20, 2015

Robotics and Sensor-Based Localization参考文献 18被引用 14

一句话总结

本文提出将预训练卷积神经网络（CNN）中间层的特征作为图像描述子，用于SLAM中的视觉回环检测。结果表明，在显著光照变化条件下，基于CNN的表征方法优于当前最先进的手工设计特征，且其提取速度显著更快——在入门级GPU上最快可提升两个数量级，因此特别适合实时机器人应用。

ABSTRACT

Deep convolutional neural networks (CNN) have recently been shown in many computer vision and pattern recog- nition applications to outperform by a significant margin state- of-the-art solutions that use traditional hand-crafted features. However, this impressive performance is yet to be fully exploited in robotics. In this paper, we focus one specific problem that can benefit from the recent development of the CNN technology, i.e., we focus on using a pre-trained CNN model as a method of generating an image representation appropriate for visual loop closure detection in SLAM (simultaneous localization and mapping). We perform a comprehensive evaluation of the outputs at the intermediate layers of a CNN as image descriptors, in comparison with state-of-the-art image descriptors, in terms of their ability to match images for detecting loop closures. The main conclusions of our study include: (a) CNN-based image representations perform comparably to state-of-the-art hand- crafted competitors in environments without significant lighting change, (b) they outperform state-of-the-art competitors when lighting changes significantly, and (c) they are also significantly faster to extract than the state-of-the-art hand-crafted features even on a conventional CPU and are two orders of magnitude faster on an entry-level GPU.

研究动机与目标

• 评估预训练CNN特征作为SLAM中视觉回环检测图像描述子的有效性。
• 在不同光照条件下，比较基于CNN的描述子与当前最先进的手工设计特征（如BoVW、GIST、FV、VLAD）在匹配准确度方面的表现。
• 分析基于CNN的描述子与传统手工设计特征在CPU和GPU上的计算效率。
• 识别生成紧凑、准确且鲁棒的图像表征以用于回环检测的最佳CNN层。

提出的方法

• 使用在Places数据集上预训练的CNN模型进行特征提取，无需微调。
• 从CNN的中间层（如CONV3、POOL5、FC6）提取图像描述子，避免使用全连接层以保留空间信息。
• 采用标准图像匹配流程：描述子提取、特征匹配以及使用精确率-召回率评估的回环检测。
• 在三个基准数据集（City Centre、New College、UA Campus）上评估性能，包括有无光照变化的情况。
• 在CPU（Matlab封装）和GPU（Caffe C++代码）上测量计算时间，以评估效率。
• 采用标准指标：精确率-召回率曲线和平均精确率（AP），用于比较不同描述子的匹配性能。

实验结果

研究问题

• RQ1 在正常光照条件下，基于CNN的图像描述子与手工设计特征在视觉回环检测中的表现如何？
• RQ2 当机器人导航过程中光照条件发生显著变化时，基于CNN的描述子表现如何？
• RQ3 在CPU和GPU上，基于CNN的描述子与当前最先进的手工设计特征相比，计算效率如何？
• RQ4 预训练CNN的哪个中间层能为回环检测提供最佳的准确率与描述子紧凑性之间的平衡？
• RQ5 尽管在图像分类任务中表现优异，为何全连接层（如FC6）在回环检测中表现较差？

主要发现

• 在无显著光照变化的环境中，基于CNN的描述子与当前最先进的手工设计特征（如BoVW、GIST）表现相当。
• 在显著光照变化条件下（如UA Campus数据集），基于CNN的描述子优于手工设计特征，其中POOL5层达到最高的平均精确率。
• 尽管FC6层在光照变化下不如中间层鲁棒，但仍优于BoVW和GIST描述子。
• 在传统CPU上，CNN描述子的提取速度约为GIST的3倍、其他手工设计特征的10倍，单张图像平均提取时间为0.155秒。
• 在入门级GPU（NVIDIA Quadro K4200）上，CNN描述子的提取时间缩短至每张图像0.019秒，相比手工设计特征实现了两个数量级的速度提升。
• POOL5层在检测准确率与描述子紧凑性之间提供了最佳平衡，是视觉回环检测的最优选择。