[论文解读] From Selective Deep Convolutional Features to Compact Binary Representations for Image Retrieval

Thanh-Toan Do, Tuan Hoang+4 more|arXiv (Cornell University)|Feb 7, 2018

Advanced Image and Video Retrieval Techniques参考文献 81被引用 7

一句话总结

该论文提出了一种新颖且计算高效的图像检索框架，通过使用SIFT-mask、SUM-mask和MAX-mask选择性地剪枝冗余的深度卷积特征，从而增强特征的判别能力，随后应用最先进的嵌入与聚合方法，并最终通过哈希将表征压缩为紧凑的二值代码。该方法在六个基准测试中均达到最先进性能，在实数值表示和极紧凑的二值表示中均显著优于先前工作。

ABSTRACT

In the large-scale image retrieval task, the two most important requirements are the discriminability of image representations and the efficiency in computation and storage of representations. Regarding the former requirement, Convolutional Neural Network (CNN) is proven to be a very powerful tool to extract highly discriminative local descriptors for effective image search. Additionally, in order to further improve the discriminative power of the descriptors, recent works adopt fine-tuned strategies. In this paper, taking a different approach, we propose a novel, computationally efficient, and competitive framework. Specifically, we firstly propose various strategies to compute masks, namely SIFT-mask, SUM-mask, and MAX-mask, to select a representative subset of local convolutional features and eliminate redundant features. Our in-depth analyses demonstrate that proposed masking schemes are effective to address the burstiness drawback and improve retrieval accuracy. Secondly, we propose to employ recent embedding and aggregating methods which can significantly boost the feature discriminability. Regarding the computation and storage efficiency, we include a hashing module to produce very compact binary image representations. Extensive experiments on six image retrieval benchmarks demonstrate that our proposed framework achieves the state-of-the-art retrieval performances.

研究动机与目标

• 为解决深度卷积特征中的突发性问题，该问题会降低图像检索中的判别能力。
• 通过结合选择性特征掩码与先进的嵌入与聚合技术，提升特征的可判别性。
• 通过哈希生成紧凑的二值表征，实现高效的规模化检索。
• 在实数值和极紧凑的二值图像表征中均实现最先进性能。
• 通过特征剪枝减少处理时间，证明方法的计算高效性。

提出的方法

• 提出三种掩码方案——SIFT-mask、SUM-mask和MAX-mask，用于选择有代表性的局部卷积特征并消除冗余特征。
• 使用SIFT检测器坐标生成SIFT-mask，通过特征图上的求和池化生成SUM-mask，通过最大池化并提取位置信息生成MAX-mask。
• 应用最先进的嵌入与聚合方法（如Jégou & Zisserman, 2014；Do & Cheung, 2018），以增强所选特征的判别能力。
• 集成基于ITQ的哈希模块，将实数值表征压缩为紧凑的二值代码，以实现高效存储与检索。
• 采用级联式框架：掩码 → 嵌入/聚合 → 哈希，通过端到端优化提升检索性能。
• 使用VGG-16作为主干网络，并在特征聚合前应用掩码，以降低计算负载。

实验结果

研究问题

• RQ1 通过选择性地掩码深度卷积特征，能否通过减少突发性和冗余性来提升检索准确率？
• RQ2 将选择性特征掩码与先进的嵌入和聚合方法结合，是否能产生比标准方法更具判别性的表征？
• RQ3 所提出的框架能否在实数值和紧凑的二值图像表征中均实现最先进性能？
• RQ4 与R-MAC等现有方法相比，该框架的计算效率如何？
• RQ5 不同掩码策略（SIFT-mask、SUM-mask、MAX-mask）在性能与速度上的贡献程度如何？

主要发现

• 所提框架在六个图像检索基准测试中均达到最先进性能，包括在Oxford5k上达到68.9%的mAP，以及在Paris106k上达到70.3%的mAP（使用512位二值代码）。
• 在64字节表征大小下，该框架在Oxford5k上比GeM（Radenović et al., 2017）高出+11.2%，在Holidays上高出+22.6%。
• MAX-mask和SUM-mask分别将特征冗余降低了约70%和50%，显著降低了计算成本。
• 在512维表征下，该框架比R-MAC更快，得益于有效的特征剪枝，其在线处理时间更低。
• MAX-mask、Δ-嵌入与ITQ哈希的组合在Holidays数据集上实现了83.6%的mAP（64字节二值代码），超越了先前的最先进方法。
• 消融实验表明，即使深度特征本身已具备较强判别性，对选择性特征进行嵌入与聚合仍能显著提升性能。