[论文解读] End-to-end Learning of Deep Visual Representations for Image Retrieval

Albert Gordo, Jon Almazán+2 more|arXiv (Cornell University)|Oct 25, 2016

Advanced Image and Video Retrieval Techniques参考文献 2被引用 12

一句话总结

该论文提出了一种用于实例级图像检索的端到端深度学习框架，通过使R-MAC可微分并使用孪生三元组损失进行训练，从而在Oxford 5k、Paris 6k和Holidays数据集上实现了最先进性能，分别达到94.7%、96.6%和94.8%的平均平均精度，并通过乘积量化实现了高度压缩的描述符，同时保持了极低的精度损失。

ABSTRACT

While deep learning has become a key ingredient in the top performing methods for many computer vision tasks, it has failed so far to bring similar improvements to instance-level image retrieval. In this article, we argue that reasons for the underwhelming results of deep methods on image retrieval are threefold: i) noisy training data, ii) inappropriate deep architecture, and iii) suboptimal training procedure. We address all three issues. First, we leverage a large-scale but noisy landmark dataset and develop an automatic cleaning method that produces a suitable training set for deep retrieval. Second, we build on the recent R-MAC descriptor, show that it can be interpreted as a deep and differentiable architecture, and present improvements to enhance it. Last, we train this network with a siamese architecture that combines three streams with a triplet loss. At the end of the training process, the proposed architecture produces a global image representation in a single forward pass that is well suited for image retrieval. Extensive experiments show that our approach significantly outperforms previous retrieval approaches, including state-of-the-art methods based on costly local descriptor indexing and spatial verification. On Oxford 5k, Paris 6k and Holidays, we respectively report 94.7, 96.6, and 94.8 mean average precision. Our representations can also be heavily compressed using product quantization with little loss in accuracy. For additional material, please see www.xrce.xerox.com/Deep-Image-Retrieval.

研究动机与目标

• 解决深度学习在实例级图像检索中因数据噪声、架构欠佳和训练过程不佳而导致的性能不足问题。
• 通过自动过滤地标数据集中噪声标注，构建一个干净、大规模的训练数据集。
• 设计一种基于R-MAC的可微分、端到端可训练深度架构，以学习用于检索的全局图像表征。
• 通过集成区域提议网络，在编码过程中动态选择显著图像区域，以改善特征学习。
• 通过乘积量化压缩学习到的描述符，实现出色的效率和可扩展性，同时保持精度损失最小。

提出的方法

• 将R-MAC描述符转化为完全可微分的神经网络架构，以支持端到端训练。
• 使用包含三个分支的孪生架构和三元组损失进行网络训练，以优化检索中的排序性能。
• 引入可学习的区域提议网络，以替代R-MAC中的固定网格，使注意力能够聚焦于相关图像区域。
• 结合来自不同缩放比例输入的多分辨率特征图，通过尺度不变信息丰富最终描述符。
• 应用乘积量化（PQ）将2048维描述符压缩至每张图像最低64字节，同时保持精度损失最小。
• 使用PCA和PQ进行描述符压缩，在干净训练数据上学习码书，以维持检索性能。

实验结果

研究问题

• RQ1 与使用预训练CNN作为特征提取器相比，端到端训练深度网络是否能提升实例级图像检索性能？
• RQ2 自动清洗噪声地标标注在多大程度上影响深度检索模型的性能？
• RQ3 在与检索专用损失联合训练时，可微分的R-MAC类架构在多大程度上优于标准R-MAC？
• RQ4 通过提议网络学习池化区域是否相比固定网格池化能提升检索准确率？
• RQ5 高度压缩的描述符（如64字节的PQ码）是否能维持图像检索中的最先进性能？

主要发现

• 所提方法在Oxford 5k上达到94.7%的平均平均精度，在Paris 6k上达到96.6%，在Holidays上达到94.8%，显著优于先前最先进方法。
• 即使通过乘积量化将描述符压缩至64字节，该方法仍优于大多数使用2048字节描述符的现有方法。
• 使用可学习区域提议网络相比固定网格R-MAC提升了检索准确率，尤其在复杂场景中表现更优。
• 多分辨率特征融合通过捕捉精细和粗糙的视觉模式，增强了性能。
• 乘积量化使得在单台64 GB RAM机器上存储数亿张图像成为可能，展示了极高的可扩展性。
• 该方法在性能上超越了基于局部描述符匹配和空间验证的复杂、计算成本高昂的流水线，同时具备更快的速度和更低的内存占用。