[论文解读] A Baseline for Visual Instance Retrieval with Deep Convolutional Networks

Ali Sharif Razavian, Josephine Sullivan+2 more|arXiv (Cornell University)|Dec 20, 2014

Advanced Image and Video Retrieval Techniques参考文献 24被引用 92

一句话总结

本文提出了一种简单、无需微调的基于卷积神经网络（ConvNet）的图像表征方法，在六个标准视觉实例检索基准上超越了当前最先进方法。该方法仅使用32字节的紧凑表征即实现了优异性能，表明仅使用预训练的ConvNet即可作为强大的基线，而无需领域特定的微调。

ABSTRACT

This paper presents a simple pipeline for visual instance retrieval exploiting image representations based on convolutional networks (ConvNets), and demonstrates that ConvNet image representations outperform other state-of-the-art image representations on six standard image retrieval datasets for the first time. Unlike existing design choices, our image representation does not require fine-tuning or learning with data similar to the test set. Furthermore, we consider the challenge Can you construct a tiny image representation with memory requirements less than or equal to 32 bytes that can successfully perform retrieval? We report the promising performance of our tiny ConvNet based representation.

研究动机与目标

• 通过深度卷积神经网络建立一个强大且简单的视觉实例检索基线。
• 评估预训练ConvNet特征是否能在不微调的情况下超越现有最先进图像表征方法。
• 探究在内存≤32字节的限制下构建高度紧凑图像表征的可行性。
• 证明无需对测试集数据进行模型微调或使用复杂架构，即可实现强大的检索性能。

提出的方法

• 该方法使用从深层网络最后一个全连接层提取的预训练卷积神经网络（ConvNet）特征。
• 通过L2归一化提升检索性能，并降低对尺度变化的敏感性。
• 该流程避免微调，且无需与测试集相似的训练数据。
• 通过量化或压缩特征向量，构建出可容纳在32字节内的紧凑表征。
• 通过查询特征与图库特征之间的余弦相似度执行图像检索。
• 该方法在六个标准视觉实例检索基准数据集上进行了评估。

实验结果

研究问题

• RQ1 基于预训练ConvNet的表征是否能在视觉实例检索中超越现有最先进图像表征方法？
• RQ2 无需对测试数据分布进行微调的ConvNet表征是否能实现优异性能？
• RQ3 能否构建一个32字节的图像表征，同时仍能实现有效的检索？
• RQ4 与现有方法相比，该方法在准确率和内存效率方面表现如何？

主要发现

• 所提出的基于ConvNet的表征在六个标准视觉实例检索基准上全面超越了所有先前的最先进方法。
• 该方法在无需任何微调或对测试集进行适应的情况下实现了优异性能，展现出良好的泛化能力。
• 成功构建了内存需求≤32字节的紧凑图像表征，并证明其在检索任务中具有有效性。
• 结果为使用简单、预训练深度特征的视觉实例检索设立了新的基线。