[论文解读] Contrastive Quantization with Code Memory for Unsupervised Image Retrieval

Jinpeng Wang, Ziyun Zeng+3 more|arXiv (Cornell University)|Sep 11, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

MeCoQ 提出了一种新颖的无监督深度量化方法，通过引入一种新型量化码记忆的对比学习，实现无需标注数据的图像检索性能提升。通过引入码字多样性正则化与低漂移码记忆机制，MeCoQ 在基准数据集上达到最先进性能，相比之前方法最高提升 2.77 个平均 MAP 点。

ABSTRACT

The high efficiency in computation and storage makes hashing (including binary hashing and quantization) a common strategy in large-scale retrieval systems. To alleviate the reliance on expensive annotations, unsupervised deep hashing becomes an important research problem. This paper provides a novel solution to unsupervised deep quantization, namely Contrastive Quantization with Code Memory (MeCoQ). Different from existing reconstruction-based strategies, we learn unsupervised binary descriptors by contrastive learning, which can better capture discriminative visual semantics. Besides, we uncover that codeword diversity regularization is critical to prevent contrastive learning-based quantization from model degeneration. Moreover, we introduce a novel quantization code memory module that boosts contrastive learning with lower feature drift than conventional feature memories. Extensive experiments on benchmark datasets show that MeCoQ outperforms state-of-the-art methods. Code and configurations are publicly available at https://github.com/gimpong/AAAI22-MeCoQ.

研究动机与目标

• 为解决基于重建的无监督深度哈希方法对预训练主干网络的强依赖性及其在目标领域泛化能力差的问题。
• 克服基于对比学习的量化方法所面临的挑战，包括采样偏差、模型退化以及小批量训练下的效率低下问题。
• 通过设计低漂移码记忆模块，提升基于记忆的对比学习在无监督量化中的有效性和效率。
• 证明码字多样性正则化对于防止对比量化中模型退化至关重要。

提出的方法

• MeCoQ 采用去偏置的对比学习框架，在无需大规模数据或复杂同步机制的前提下，纠正小批量训练中的采样偏差。
• 引入码字多样性正则化项，显式鼓励量化码字之间的多样性，防止表示坍塌。
• 设计一种新型量化码记忆，用于存储并重用量化码作为负样本，相比传统特征记忆，能更有效地减少特征漂移。
• 该码记忆可随时间保持稳定的负样本采样，使即使在小批量设置下且无需动量编码器，也能实现有效的对比学习。
• 模型联合优化对比损失与量化损失，码记忆提供持久的负样本对，以增强表示学习。

实验结果

研究问题

• RQ1 能否在不依赖昂贵标注的情况下，有效将对比学习应用于无监督深度量化？
• RQ2 如何在对比量化中防止模型退化，特别是由码字坍塌引起的问题？
• RQ3 量化码的记忆机制是否在稳定性和性能上优于特征记忆？
• RQ4 延迟使用码记忆是否能提升训练稳定性和最终性能？

主要发现

• 在四个基准数据集上，MeCoQ 相比无码字多样性正则化的 MeCoQ 版本，平均 MAP 点数分别提升 25.11、30.34、29.14 和 25.32，证明了该正则化的有效性。
• MeCoQ 相比无码记忆的变体，平均 MAP 提升 2.22–2.77，证明了记忆模块的价值。
• 软码记忆相比特征记忆和硬码记忆均能减少特征漂移并提升性能，MeCoQ 相比特征记忆变体平均 MAP 提升 0.44 至 2.52。
• 采用延迟记忆使用的 MeCoQ 在平均 MAP 上提升 0.60 至 3.36，表明过早使用记忆会导致次优表示。
• 使用 896 的记忆大小可达到最佳平衡，进一步增大记忆容量带来的收益递减，主要受特征漂移影响。
• MeCoQ 仅需 5.9 GB GPU 内存，显著低于将批量大小增加至 256 所需的 10.9 GB，证明了其高效性。