[论文解读] Exploiting Local Features from Deep Networks for Image Retrieval

Joe Yue-Hei Ng, Fan Yang+1 more|arXiv (Cornell University)|Apr 20, 2015

Advanced Image and Video Retrieval Techniques参考文献 31被引用 85

一句话总结

该论文提出利用预训练深度网络（OxfordNet 和 GoogLeNet）的中间及低层卷积层进行实例级图像检索，采用 VLAD 编码将局部特征聚合为紧凑的 128-D 描述符。结果表明，低层比最终层更能保留局部物体模式，且更高输入分辨率可提升特征质量，在三个基准数据集中的两个上实现了最先进性能，且使用低维表示。

ABSTRACT

Deep convolutional neural networks have been successfully applied to image classification tasks. When these same networks have been applied to image retrieval, the assumption has been made that the last layers would give the best performance, as they do in classification. We show that for instance-level image retrieval, lower layers often perform better than the last layers in convolutional neural networks. We present an approach for extracting convolutional features from different layers of the networks, and adopt VLAD encoding to encode features into a single vector for each image. We investigate the effect of different layers and scales of input images on the performance of convolutional features using the recent deep networks OxfordNet and GoogLeNet. Experiments demonstrate that intermediate layers or higher layers with finer scales produce better results for image retrieval, compared to the last layer. When using compressed 128-D VLAD descriptors, our method obtains state-of-the-art results and outperforms other VLAD and CNN based approaches on two out of three test datasets. Our work provides guidance for transferring deep networks trained on image classification to image retrieval tasks.

研究动机与目标

• 探究预训练卷积神经网络的低层或高层特征在实例级图像检索中是否更有效。
• 考察输入图像尺度对卷积特征质量和检索性能的影响。
• 开发一种结合多尺度特征与 VLAD 编码的方法，生成紧凑且具有判别力的图像表征。
• 提供对中间层为何在检索任务中优于最终层的实证和可视化见解。
• 证明基于中间层的 128-D VLAD 描述符可超越高维表示或基于 SIFT 的方法。

提出的方法

• 从 OxfordNet 和 GoogLeNet 的多个卷积层（如 Inception 4e、Inception 5b、conv4_2、conv5_1）中提取激活图。
• 应用 VLAD 编码将局部卷积特征聚合为每张图像的单一向量，以保留空间和局部模式信息。
• 使用多尺度输入（原始分辨率和更高分辨率）评估尺度变化对各层特征表示的影响。
• 采用 PCA 和白化处理将 VLAD 描述符压缩至 128 维，以实现高效存储与检索。
• 通过拼接不同尺度下最佳性能层的 VLAD 描述符，融合多尺度特征。
• 使用标准基准数据集（Holidays、Oxford 和 Paris）评估性能。

实验结果

研究问题

• RQ1 预训练卷积神经网络的低层或高层特征在实例级图像检索中表现更优吗？
• RQ2 输入图像尺度如何影响卷积特征质量和检索准确率？
• RQ3 中间层的 VLAD 编码特征能否在低维表示下实现具有竞争力的性能？
• RQ4 为何低层在保留实例检索所需的局部模式方面优于最终层？
• RQ5 与单尺度输入相比，多尺度特征提取是否能提升检索性能？

主要发现

• 来自中间层或低层（如 Inception 4e、conv4_2）的特征在实例级图像检索中优于最终层的特征。
• 更高输入分辨率显著提升了深层特征质量，使其能更有效地捕捉局部模式。
• 所提方法在 Holidays 和 Paris 数据集上使用 128-D VLAD 描述符实现了最先进性能。
• 即使采用 128-D 表示，该方法仍优于基于 BoW 和 VLAD 编码的 SIFT 方法，以及更高维的 CNN 方法（如 MOP-CNN，512-D）。
• 尽管未对网络进行微调或使用大规模数据，该方法仍优于 [3]，证明了层选择与尺度感知特征提取的有效性。
• 当移除空间信息后性能显著下降，凸显了局部特征编码与多尺度处理的重要性。