[论文解读] Deep Image Retrieval: Learning global representations for image search

Albert Gordo, Jon Almazán+2 more|arXiv (Cornell University)|Apr 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 47被引用 85

一句话总结

本文提出了一种用于实例级图像检索的深度学习框架，通过端到端训练学习全局、紧凑的图像表征。通过联合优化区域特征提取与区域池化，采用孪生网络结合三元组排序损失和区域建议网络，该方法在标准基准上实现了最先进性能，优于以往的全局描述符方法，并在性能上匹配或超越了更复杂的结合空间验证和查询扩展的方法。

ABSTRACT

We propose a novel approach for instance-level image retrieval. It produces a global and compact fixed-length representation for each image by aggregating many region-wise descriptors. In contrast to previous works employing pre-trained deep networks as a black box to produce features, our method leverages a deep architecture trained for the specific task of image retrieval. Our contribution is twofold: (i) we leverage a ranking framework to learn convolution and projection weights that are used to build the region features; and (ii) we employ a region proposal network to learn which regions should be pooled to form the final global descriptor. We show that using clean training data is key to the success of our approach. To that aim, we use a large scale but noisy landmark dataset and develop an automatic cleaning approach. The proposed architecture produces a global image representation in a single forward pass. Our approach significantly outperforms previous approaches based on global descriptors on standard datasets. It even surpasses most prior works based on costly local descriptor indexing and spatial verification. Additional material is available at www.xrce.xerox.com/Deep-Image-Retrieval.

研究动机与目标

• 解决深度学习方法在实例级图像检索中表现不如传统基于局部描述符方法的问题。
• 通过为检索任务专门训练网络，克服使用预训练网络作为黑箱特征提取器的局限性。
• 通过端到端学习特征提取权重与最优区域池化位置，提升全局描述符质量。
• 开发一种自动数据清洗管道，处理大规模地标数据集中的噪声训练数据，实现有效学习。
• 通过单次前向传播和极低的推理成本实现高检索精度，避免昂贵的后处理步骤（如空间验证）

提出的方法

• 训练一个三流孪生卷积神经网络，采用三元组排序损失，以优化区域特征提取的卷积与投影权重。
• 使用区域建议网络（RPN）学习应被池化的图像区域，以内容感知的区域选择替代R-MAC中使用的固定网格。
• 利用Landmarks数据集进行训练，应用自动清洗方法去除误标和假阳性图像，以提升学习质量。
• 通过从学习到的区域池化特征构建固定长度的全局描述符，实现通过点积的高效比较。
• 端到端训练整个架构，全程使用可微操作，实现特征学习与区域选择的联合优化。
• 在推理后处理阶段应用查询扩展（QE），以进一步提升性能，且不增加模型复杂度。

实验结果

研究问题

• RQ1 对深度网络进行端到端训练是否能显著提升图像检索性能，相比使用预训练特征作为固定提取器？
• RQ2 通过区域建议网络学习池化区域是否优于在全局描述符构建中使用固定网格池化？
• RQ3 在大规模、噪声数据集上训练的深度检索模型中，数据质量在多大程度上影响性能？
• RQ4 一个单一、通用的深度模型是否能无需数据集特定调整或昂贵后处理，在多个基准上实现最先进性能？
• RQ5 与依赖空间验证和查询扩展的最先进方法相比，所提方法在准确率和推理效率方面表现如何？

主要发现

• 在Oxford5k数据集上，该方法达到86.7%的mAP，使用查询扩展后提升至89.1%，优于以往的全局描述符方法超过15个mAP点。
• 在Holidays数据集上，使用查询扩展后达到89.1%的mAP，优于先前最先进方法（89.4% mAP），且显著更具可扩展性。
• 该模型在Oxford5k上仅需每查询1ms的推理时间，且每张图像仅需2kB存储空间，便实现89.1% mAP，优于需要超过1秒/查询进行空间验证的方法。
• 在噪声Landmarks数据集上应用自动数据清洗管道，带来显著性能提升，证明了高质量训练数据的关键作用。
• 区域建议网络在检索准确率上优于固定网格池化，定量与定性证据均显示其能更好地定位判别性图像区域。
• 即使不使用空间验证或查询扩展，该方法在Oxford5k上仍达到86.7% mAP，优于使用这些高成本技术的方法，凸显了所学习全局表征的质量。