[论文解读] Deep Learning Features at Scale for Visual Place Recognition

Zetao Chen, Adam Jacobson+6 more|arXiv (Cornell University)|Jan 18, 2017

Robotics and Sensor-Based Localization参考文献 23被引用 31

一句话总结

本文提出在大规模数据集上训练深度卷积神经网络（CNNs），专门用于视觉位置识别，使用一种新型大规模数据集——特定地点数据集（SPED），以学习对视角和环境条件不变的特征。通过将位置识别问题建模为分类任务，并采用多尺度特征编码，该方法在基准数据集上相较于现有算法和预训练CNNs实现了10%的平均性能提升。

ABSTRACT

The success of deep learning techniques in the computer vision domain has triggered a range of initial investigations into their utility for visual place recognition, all using generic features from networks that were trained for other types of recognition tasks. In this paper, we train, at large scale, two CNN architectures for the specific place recognition task and employ a multi-scale feature encoding method to generate condition- and viewpoint-invariant features. To enable this training to occur, we have developed a massive Specific PlacEs Dataset (SPED) with hundreds of examples of place appearance change at thousands of different places, as opposed to the semantic place type datasets currently available. This new dataset enables us to set up a training regime that interprets place recognition as a classification problem. We comprehensively evaluate our trained networks on several challenging benchmark place recognition datasets and demonstrate that they achieve an average 10% increase in performance over other place recognition algorithms and pre-trained CNNs. By analyzing the network responses and their differences from pre-trained networks, we provide insights into what a network learns when training for place recognition, and what these results signify for future research in this area.

研究动机与目标

• 为解决缺乏大规模、真实世界数据集来捕捉不同条件下和不同视角下的场景外观变化的问题。
• 开发一种专为视觉位置识别设计的深度学习框架，超越通用预训练特征。
• 通过将位置识别视为分类问题，并利用新型条件丰富的数据集，专门训练CNNs用于位置识别。
• 生成多尺度、对视角和环境条件不变的特征，以提升在真实场景下的鲁棒性。
• 为未来研究提供关于深度特征在训练用于视觉位置识别时学习到的内容的见解。

提出的方法

• 作者构建了特定地点数据集（SPED），包含每个地点在不同光照、天气和视角条件下的数百张图像，总计数千个不同地点。
• 在SPED上微调了两种CNN架构（GoogLeNet和VGG-16），端到端地进行训练，将位置识别作为分类任务。
• 应用多尺度特征编码策略，以提取对视角和环境变化具有鲁棒性的特征。
• 训练方案使用大规模数据学习特定于位置的表征，避免依赖在ImageNet上预训练的模型。
• 分析网络响应，以理解在训练过程中为位置识别学习到的内部表征。

实验结果

研究问题

• RQ1 在大规模、条件丰富的数据集上训练深度CNNs，是否能相比使用通用预训练特征，提升视觉位置识别性能？
• RQ2 多尺度特征编码和大规模训练在实现视角和环境不变性方面分别起到何种作用？
• RQ3 当CNNs被专门训练用于视觉位置识别时，它们学习到的特征类型是什么？与在通用分类任务上学习到的特征有何不同？
• RQ4 所提出的方法在标准基准数据集上相较于现有算法和预训练CNNs的性能提升程度如何？

主要发现

• 所提方法在多个基准数据集上相较于其他位置识别算法和预训练CNNs实现了平均10%的性能提升。
• 在SPED上训练使网络学习到的特征相较于标准预训练网络的特征，对视角和环境变化的不变性显著增强。
• 多尺度特征编码策略有效捕捉了空间和尺度变化，增强了在不同观测条件下的鲁棒性。
• 对网络激活值的分析表明，训练后的网络更关注场景的结构和布局特征，而非纹理或物体级线索。