[论文解读] In Defense of Product Quantization

Benjamin Klein, Lior Wolf|arXiv (Cornell University)|Nov 23, 2017

Advanced Image and Video Retrieval Techniques参考文献 12被引用 10

一句话总结

本文提出深度产品量化（DPQ），一种端到端学习的产品量化方法，相较于最先进 hashing 技术，在保持低计算和内存开销的同时，提升了检索和分类准确率。通过利用直通估计器处理软硬码书表示，并引入联合中心损失以减少表示差异，DPQ 在通过归一化实现的跨域类别检索中表现尤为出色。

ABSTRACT

Despite their widespread adoption, Product Quantization techniques were recently shown to be inferior to other hashing techniques. In this work, we present an improved Deep Product Quantization (DPQ) technique that leads to more accurate retrieval and classification than the latest state of the art methods, while having similar computational complexity and memory footprint as the Product Quantization method. To our knowledge, this is the first work to introduce a representation that is inspired by Product Quantization and which is learned end-to-end, and thus benefits from the supervised signal. DPQ explicitly learns soft and hard representations to enable an efficient and accurate asymmetric search, by using a straight-through estimator. A novel loss function, Joint Central Loss, is introduced, which both improves the retrieval performance, and decreases the discrepancy between the soft and the hard representations. Finally, by using a normalization technique, we improve the results for cross-domain category retrieval.

研究动机与目标

• 解决传统产品量化方法的局限性，尽管其效率高，但已被证明逊于新型 hashing 方法。
• 开发一种受产品量化启发的深度端到端学习表示，以利用监督信号。
• 通过显式学习软硬码书表示，实现高效且准确的非对称搜索，其中查询向量与数据库向量被区别对待。
• 通过一种新颖的联合中心损失函数，减少软表示与硬表示之间的差异。
• 通过所提出的归一化技术，提升在跨域类别检索任务中的性能。

提出的方法

• DPQ 使用直通估计器，通过硬向量量化反向传播梯度，实现端到端表示学习。
• 显式学习软表示与硬表示，以支持高效的非对称搜索，其中查询向量与数据库向量被区别处理。
• 提出一种新颖的联合中心损失，联合优化检索性能，并最小化软表示与硬表示之间的距离。
• 该方法保持与标准产品量化相同的计算复杂度和内存占用，确保可扩展性。
• 应用一种归一化技术，以提升在跨域类别检索任务中的性能。
• 该框架通过监督信号端到端训练，使学习表示与下游任务之间实现更好的对齐。

实验结果

研究问题

• RQ1 端到端学习的产品量化方法是否能在检索和分类任务中超越现有最先进 hashing 技术？
• RQ2 如何联合优化软表示与硬表示，以提升非对称搜索的效率与准确率？
• RQ3 新颖的损失函数是否能在不牺牲检索性能的前提下，减少软表示与硬表示之间的差异？
• RQ4 归一化是否能提升基于产品量化方法的跨域类别检索性能？
• RQ5 是否可能在保持产品量化效率的同时，通过端到端学习实现更优的准确率？

主要发现

• 尽管计算和内存成本与最先进 hashing 方法相当，DPQ 在检索和分类准确率上仍显著更高。
• 联合中心损失显著减少了软表示与硬表示之间的差异，提升了学习码书的一致性。
• 使用直通估计器可实现通过硬量化层的有效反向传播，从而支持表示的端到端训练。
• 归一化显著提升了跨域类别检索的性能，表明在不同领域间具有良好的泛化能力。
• 该方法是首个通过监督信号实现端到端学习产品量化启发表示的方法，树立了新的准确率基准。
• DPQ 在保持标准产品量化效率的同时，性能超越其原版，适用于大规模应用场景。