[论文解读] Feature Map Filtering: Improving Visual Place Recognition with Convolutional Calibration

Stephen Hausler, Adam Jacobson+1 more|arXiv (Cornell University)|Oct 30, 2018

Robotics and Sensor-Based Localization参考文献 23被引用 4

一句话总结

该论文提出了一种计算效率高的方法——特征图过滤（Feature Map Filtering），通过仅使用50张环境特定图像对预训练的CNN进行校准，从而提升视觉位置识别性能。该方法通过选择在外观变化（如白天/夜晚、季节）下保持一致的特征图子集，增强了识别准确率，尤其是在浅层网络中，同时将推理时间最多减少64%，且无需重新训练网络权重。

ABSTRACT

Convolutional Neural Networks (CNNs) have recently been shown to excel at performing visual place recognition under changing appearance and viewpoint. Previously, place recognition has been improved by intelligently selecting relevant spatial keypoints within a convolutional layer and also by selecting the optimal layer to use. Rather than extracting features out of a particular layer, or a particular set of spatial keypoints within a layer, we propose the extraction of features using a subset of the channel dimensionality within a layer. Each feature map learns to encode a different set of weights that activate for different visual features within the set of training images. We propose a method of calibrating a CNN-based visual place recognition system, which selects the subset of feature maps that best encodes the visual features that are consistent between two different appearances of the same location. Using just 50 calibration images, all collected at the beginning of the current environment, we demonstrate a significant and consistent recognition improvement across multiple layers for two different neural networks. We evaluate our proposal on three datasets with different types of appearance changes - afternoon to morning, winter to summer and night to day. Additionally, the dimensionality reduction approach improves the computational processing speed of the recognition system.

研究动机与目标

• 解决在显著外观变化（如昼夜、季节、一天中不同时段）下的视觉位置识别挑战。
• 克服在线微调深度CNN以适应新环境所带来的高计算成本。
• 开发一种快速、轻量级的校准方法，在不修改网络权重的前提下提升识别性能。
• 利用最少的校准数据实现实时适应预训练CNN至新环境条件。
• 证明过滤冗余或不一致的特征图可同时提升准确率与推理速度。

提出的方法

• 通过选择在不同外观条件下（如白天与夜晚）同一位置图像之间L2距离最小的特征图子集，对预训练CNN进行校准。
• 最大化在相同光照等环境条件下视觉上相似的不同位置之间的L2距离。
• 使用贪心选择算法，迭代移除在外观变化下性能下降的特征图。
• 仅使用在新环境开始时收集的50张图像完成校准过程，无需重新训练网络。
• 在两种CNN架构（HybridNet和AlexNet，均基于ImageNet预训练）的多个网络层中应用特征图过滤。
• 在具有多样化外观变化的真实世界数据集上，评估过滤后特征图的定位性能与计算效率。

实验结果

研究问题

• RQ1 轻量级校准过程是否能在不重新训练CNN权重的情况下提升视觉位置识别性能？
• RQ2 基于外观变化下的一致性对特征图进行过滤，是否能提升在复杂环境中的识别准确率？
• RQ3 该方法在不同CNN架构和网络层（尤其是浅层与深层）中的有效性如何？
• RQ4 特征图过滤在保持或提升识别性能的同时，能在多大程度上降低计算成本？
• RQ5 该方法是否能泛化到多种多样的外观变化，如昼夜、冬夏及早午之间的转换？

主要发现

• 在Oxford RobotCar数据集上，使用HybridNet的Conv3层进行夜间到白天识别时，F1分数从0.56提升至0.81。
• 在AlexNet的Conv2层上，同一数据集的F1分数从0.41提升至0.69，表明在复杂光照条件下取得了显著的准确率提升。
• 在HybridNet的Conv3层上，推理时间减少了64%（从68ms/帧降至43.9ms/帧）；在AlexNet的Conv2层上，处理时间减半（从81ms/帧降至41ms/帧）。
• 平均而言，使用HybridNet时51%的特征图被过滤掉，使用AlexNet时为61%，表明实现了显著的维度压缩。
• 性能提升最大的区域出现在早期卷积层，因为低层次特征（如边缘和纹理）对外观变化更为敏感。
• 可视化结果证实，被移除的特征图通常对瞬态特征（如阴影和光照变化）有响应，而保留的特征图则聚焦于稳定线索（如道路标记）。