[论文解读] Learning Super-Features for Image Retrieval

Philippe Weinzaepfel, Thomas G. Lucas+2 more|arXiv (Cornell University)|Jan 31, 2022

Advanced Image and Video Retrieval Techniques被引用 13

一句话总结

本文提出Super-features——一种通过迭代变压器模块（LIT）学习得到的中层、基于注意力的图像表征，能够生成有序的、具有区分性且非冗余的特征。通过仅使用图像级别标签在Super-features上直接应用对比损失，该方法在地标检索基准上实现了最先进性能，且相比以往基于局部特征的方法显著降低了内存占用。

ABSTRACT

Methods that combine local and global features have recently shown excellent performance on multiple challenging deep image retrieval benchmarks, but their use of local features raises at least two issues. First, these local features simply boil down to the localized map activations of a neural network, and hence can be extremely redundant. Second, they are typically trained with a global loss that only acts on top of an aggregation of local features; by contrast, testing is based on local feature matching, which creates a discrepancy between training and testing. In this paper, we propose a novel architecture for deep image retrieval, based solely on mid-level features that we call Super-features. These Super-features are constructed by an iterative attention module and constitute an ordered set in which each element focuses on a localized and discriminant image pattern. For training, they require only image labels. A contrastive loss operates directly at the level of Super-features and focuses on those that match across images. A second complementary loss encourages diversity. Experiments on common landmark retrieval benchmarks validate that Super-features substantially outperform state-of-the-art methods when using the same number of features, and only require a significantly smaller memory footprint to match their performance. Code and models are available at: https://github.com/naver/FIRe.

研究动机与目标

• 解决基于局部特征的图像检索中训练阶段（全局损失）与推理阶段（局部匹配）之间的不一致问题。
• 通过学习中层、结构化的表征，克服标准局部CNN特征中存在的冗余性和低区分性问题。
• 构建一个可训练的端到端框架，仅使用图像级别标签来监督一组有序的、具有区分性的特征。
• 在保持或提升检索精度的同时，相比使用局部特征的最先进方法，显著减少内存占用。
• 通过学习一组语义有序的特征，聚焦于不同且有意义的图像模式，实现高效的特征匹配。

提出的方法

• 提出一种迭代的局部特征融合变压器（LIT）模块，通过学习的模板和残差连接，从CNN特征图中生成N个Super-features的有序集合。
• 采用对比损失，将正样本图像对中的匹配Super-features进行配对，直接在Super-feature级别优化跨图像对应关系。
• 引入去相关损失，鼓励单个图像中N个Super-features的注意力图之间保持多样性。
• 仅使用图像级别标签进行端到端训练整个网络，避免对实例级别或像素级别标注的依赖。
• 在测试阶段采用ASMK（聚合SIFT匹配核）来匹配并聚合Super-features，遵循标准检索协议。
• 利用Super-features的有序性，相比标准局部特征，提高了匹配的可靠性并减少了冗余。

实验结果

研究问题

• RQ1 是否可以有效学习并使用中层、基于注意力的特征进行图像检索，而无需依赖局部特征匹配或实例级别监督？
• RQ2 通过对比损失和去相关损失直接监督Super-features，是否相比对局部特征使用全局损失监督，能提升检索精度？
• RQ3 迭代注意力机制是否能够生成比现有以物体为中心的注意力模块更大、更丰富、更具区分性的特征集合？
• RQ4 所提方法是否在内存占用更少的前提下，性能优于最先进基于局部特征的方法？
• RQ5 在包含数百万个干扰图像的大规模设置下，模型的泛化能力如何？

主要发现

• 所提出的FIRe方法在R-Oxford和R-Paris基准上实现了最先进性能，优于使用相同数量特征的先前方法。
• 在R-Oxford上，FIRe实现了85.3%的mAP（使用R50主干网络），比使用ASMK的先前SOTA方法（HOW）高出9.9个百分点。
• 在R-Paris上，FIRe达到70.0%的mAP，比基线方法（HOW）高出12.2个百分点，展现出强大的泛化能力。
• 该方法相比最先进局部特征方法，内存占用最高减少50%，同时保持或超越其性能。
• 在100万张干扰图像的实验中，性能增益在大规模下依然稳健，表明模型具备强大的泛化能力和鲁棒性。
• 消融研究显示，Super-features相比标准局部特征显著降低了冗余性并提高了区分性，表现为更低的特征相关性与更高的匹配准确率。