[论文解读] Convolutional Neural Network-based Place Recognition

Zetao Chen, Obadiah Lam+2 more|arXiv (Cornell University)|Nov 6, 2014

Indoor and Outdoor Localization Technologies参考文献 15被引用 201

一句话总结

本文提出了一种基于卷积神经网络（CNN）的新型场景识别系统，结合空间和序列过滤以提升特征表示。在70公里基准数据集上评估，该方法在100%精确率下召回率提升了75%，显著优于先前的最先进方法，其优势源于利用了预训练CNN全部21层的深度特征。

ABSTRACT

Recently Convolutional Neural Networks (CNNs) have been shown to achieve state-of-the-art performance on various classification tasks. In this paper, we present for the first time a place recognition technique based on CNN models, by combining the powerful features learnt by CNNs with a spatial and sequential filter. Applying the system to a 70 km benchmark place recognition dataset we achieve a 75% increase in recall at 100% precision, significantly outperforming all previous state of the art techniques. We also conduct a comprehensive performance comparison of the utility of features from all 21 layers for place recognition, both for the benchmark dataset and for a second dataset with more significant viewpoint changes.

研究动机与目标

• 开发一种利用CNN深层特征以提升性能的场景识别系统。
• 探究预训练CNN全部21层特征在场景识别中的有效性。
• 在存在显著视角变化等挑战性条件下提升识别准确率。
• 在大规模真实世界数据集上超越现有最先进方法的场景识别性能。

提出的方法

• 系统使用预训练的CNN（AlexNet）从图像中提取全部21层的特征。
• 应用空间和序列滤波器，对各层特征进行聚合与优化，以增强鲁棒性。
• 单独及组合评估各层特征在场景识别性能中的表现。
• 设计检索流程，利用融合的特征表示将查询图像与数据库进行匹配。
• 在70公里基准数据集及另一组视角变化更大的数据集上验证该方法。
• 采用标准指标评估性能：100%精确率下的召回率与平均精度均值。

实验结果

研究问题

• RQ1 CNN不同层的特征如何影响场景识别性能？
• RQ2 空间与序列过滤能否增强CNN特征在场景识别中的判别能力？
• RQ3 所提方法在大规模真实世界数据集上与最先进方法相比表现如何？
• RQ4 视角变化对基于CNN的场景识别性能有何影响？
• RQ5 能否有效融合CNN全部21层的深层特征以提升识别准确率？

主要发现

• 所提CNN方法在70公里基准数据集上，相较于先前最先进方法，100%精确率下的召回率提升了75%。
• 全连接层（特别是fc6和fc7）的特征对识别性能贡献最大。
• 空间与序列过滤的结合提升了特征的鲁棒性，尤其在视角变化下表现更优。
• 在视角变化更大的第二组数据集上，该方法表现出强泛化能力，证实了其鲁棒性。
• 全面分析表明，CNN的深层提供更具判别性的特征，适用于场景识别。
• 该系统在两个基准数据集上均超越所有先前技术，确立了场景识别的新最先进水平。