[论文解读] Deep Convolutional Features for Image Based Retrieval and Scene Categorization

Arsalan Mousavian, Jana Košecká|arXiv (Cornell University)|Sep 20, 2015

Advanced Image and Video Retrieval Techniques参考文献 22被引用 31

一句话总结

本文通过利用预训练卷积神经网络（CNN）的早期卷积层（pool5）的特征图，而非标准的最后全连接层（fc7），提出了一种更高效且更有效的图像表征方法，用于图像检索与场景分类。通过在这些语义丰富且空间定位精确的特征上应用新型池化策略——尤其是混合池化（hybrid pooling）——该方法在INRIA Holidays和SUN397数据集上实现了最先进或具有竞争力的性能，同时显著降低了计算成本与内存占用，同时还引入了一个新的、具有挑战性的GeoPlaces5K数据集，用于跨地理区域的图像检索。

ABSTRACT

Several recent approaches showed how the representations learned by Convolutional Neural Networks can be repurposed for novel tasks. Most commonly it has been shown that the activation features of the last fully connected layers (fc7 or fc6) of the network, followed by a linear classifier outperform the state-of-the-art on several recognition challenge datasets. Instead of recognition, this paper focuses on the image retrieval problem and proposes a examines alternative pooling strategies derived for CNN features. The presented scheme uses the features maps from an earlier layer 5 of the CNN architecture, which has been shown to preserve coarse spatial information and is semantically meaningful. We examine several pooling strategies and demonstrate superior performance on the image retrieval task (INRIA Holidays) at the fraction of the computational cost, while using a relatively small memory requirements. In addition to retrieval, we see similar efficiency gains on the SUN397 scene categorization dataset, demonstrating wide applicability of this simple strategy. We also introduce and evaluate a novel GeoPlaces5K dataset from different geographical locations in the world for image retrieval that stresses more dramatic changes in appearance and viewpoint.

研究动机与目标

• 通过使用更高效且更具判别性的CNN特征，提升图像检索与场景分类的性能。
• 探索在早期卷积层（如pool5）上应用替代池化策略，而非依赖fc7特征。
• 在具有大视角与外观变化的数据集上评估所提方法，包括一个新提出的GeoPlaces5K数据集。
• 证明pool5特征相较于fc7特征在检索任务中更具语义意义且空间定位更精确。
• 表明在以场景为中心的数据集（Places）上进行预训练，相比在以物体为中心的数据集（ImageNet）上预训练，能为场景相关任务带来更优性能。

提出的方法

• 该方法使用在ImageNet和Places上预训练的CNN网络的pool5层特征图作为主要图像表征。
• 在pool5特征图上应用多种池化策略——平均池化、最大池化以及一种新颖的混合池化，以聚合空间信息。
• 混合池化策略在空间位置上结合最大池化与平均池化，以同时保留判别性与鲁棒性特征。
• 由此生成的低维特征向量（例如256或512维）通过最近邻搜索用于检索，通过线性SVM用于分类。
• 该方法仅对每张图像进行一次网络前向传播，避免了多尺度或多裁剪推理，从而降低了计算成本。
• 通过主成分分析（PCA）进行降维，进一步压缩特征，同时保持性能，尤其在检索任务中表现优异。

实验结果

研究问题

• RQ1 来自早期卷积层（pool5）的特征是否能在图像检索任务中超越标准的fc7特征？
• RQ2 不同的池化策略（平均池化、最大池化、混合池化）在多样化数据集上的检索性能有何影响？
• RQ3 与fc7相比，使用pool5特征是否能在大视角与外观变化下实现更好的泛化能力？
• RQ4 在场景特定数据集（Places）上进行预训练，与在以物体为中心的数据集（ImageNet）上预训练相比，对场景分类与检索任务有何差异？
• RQ5 仅使用pool5特征的简单单次前向传播方法，能否在显著降低内存与计算消耗的前提下，实现与最先进方法相媲美甚至更优的性能？

主要发现

• 在SUN397数据集上，pool5特征结合混合池化策略实现了51.54%的mAP，优于平均池化与最大池化策略。
• 使用pool5特征结合混合池化与PCA，将特征维度压缩至512维，同时保持高性能，实现了低内存占用的高效检索。
• 在所有检索与分类任务中，Places预训练的CNN均优于ImageNet预训练的CNN，尤其在以场景为中心的数据集中表现更优。
• 在INRIA Holidays数据集上，该方法仅使用fc7基线方法1/10的内存，即实现了具有竞争力的性能，展现出极高的效率。
• 在新的GeoPlaces5K数据集上，该方法表现出强大的鲁棒性，该数据集具有极端的视角与外观变化，表明其对真实世界地理多样性的良好泛化能力。
• 研究发现，更高维的特征（如512维）在大规模分类任务中表现更优，提示低维表示在细粒度分类任务中存在局限性。