[论文解读] Improving Bilayer Product Quantization for Billion-Scale Approximate Nearest Neighbors in High Dimensions

Artem Babenko, Victor Lempitsky|arXiv (Cornell University)|Apr 7, 2014

Advanced Image and Video Retrieval Techniques参考文献 14被引用 18

一句话总结

本文提出两种新型系统——快速双层乘积量化（FBPQ）与分层双层乘积量化（HBPQ），以加速并提升在百亿规模高维数据集上的近似最近邻搜索。FBPQ将距离计算复杂度从 O(D) 降低至 O(M)，在保持相同召回率的前提下，相比 Multi-D-ADC 实现高达 15 倍的加速；HBPQ 在每个索引单元中使用局部乘积量化码书，使 SIFT1B 数据集上的 Recall@1 提升 10%，Recall@10 提升 17%，同时仅增加 15% 的内存开销。

ABSTRACT

The top-performing systems for billion-scale high-dimensional approximate nearest neighbor (ANN) search are all based on two-layer architectures that include an indexing structure and a compressed datapoints layer. An indexing structure is crucial as it allows to avoid exhaustive search, while the lossy data compression is needed to fit the dataset into RAM. Several of the most successful systems use product quantization (PQ) for both the indexing and the dataset compression layers. These systems are however limited in the way they exploit the interaction of product quantization processes that happen at different stages of these systems. Here we introduce and evaluate two approximate nearest neighbor search systems that both exploit the synergy of product quantization processes in a more efficient way. The first system, called Fast Bilayer Product Quantization (FBPQ), speeds up the runtime of the baseline system (Multi-D-ADC) by several times, while achieving the same accuracy. The second system, Hierarchical Bilayer Product Quantization (HBPQ) provides a significantly better recall for the same runtime at a cost of small memory footprint increase. For the BIGANN dataset of billion SIFT descriptors, the 10% increase in Recall@1 and the 17% increase in Recall@10 is observed.

研究动机与目标

• 解决现有双层乘积量化系统中冗余距离计算及使用次优全局码书导致的效率低下问题。
• 在不牺牲准确率的前提下，降低高维近似最近邻搜索中距离评估的计算成本。
• 通过引入针对每个单元局部优化的乘积量化码书，更好地适应位移分布，从而提升搜索召回率。
• 在 SIFT1B 等百亿规模数据集上，实现速度与准确率的最先进性能。
• 证明尽管局部码书带来更高的内存开销，但结合分层乘积量化后仍具可行性和显著优势。

提出的方法

• FBPQ 利用异步距离计算（ADC）与乘积量化技术，将距离评估复杂度从 O(D) 降低至 O(M)，其中 M 为 PQ 组件数量。
• 不通过重构完整向量，FBPQ 直接从压缩表示中使用快速近似距离公式计算距离。
• HBPQ 用每个单元的局部码书替代全局码书，用于位移编码，从而在每个索引单元内实现更优的压缩质量。
• 局部码书采用相同的乘积量化框架，但针对每个单元内特定的位移分布独立训练。
• 系统使用倒排多索引结构实现高效的单元检索，并在候选短名单上应用重排序。
• 通过利用乘积量化本身的分层结构，有效控制局部码书带来的内存开销，避免随单元数量线性增长。

实验结果

研究问题

• RQ1 能否在不损失准确率的前提下，将双层乘积量化中的距离计算复杂度从 O(D) 降低至 O(M)？
• RQ2 与全局码书相比，为每个索引单元使用局部乘积量化码书是否能提升搜索召回率？
• RQ3 在高维 ANN 搜索中，使用局部码书时，内存开销与召回率提升之间的权衡关系如何？
• RQ4 能否更有效地利用两级乘积量化之间的协同效应，以进一步加速搜索？
• RQ5 在实际百亿规模应用场景中，局部码书带来的性能增益是否足以证明其更高的内存成本是合理的？

主要发现

• 在 SIFT1B 数据集上，FBPQ 相较于 Multi-D-ADC 系统，最高可实现 15 倍加速，且召回率保持一致。
• 在 SIFT1B 数据集上，HBPQ 相较于 Multi-D-ADC，Recall@1 提升 10%，Recall@10 提升 17%，内存仅增加 15%（2 GB，8 字节编码）。
• 与全局码书相比，HBPQ 中使用局部码书可使位移向量的编码误差降低 30%。
• 在 GIST50M 数据集上，HBPQ 在内存仅增加 1.5 倍的条件下，Recall@1 提升 1.3% 至 2.4%，Recall@10 最高提升 10%。
• 尽管因缓存效率低下导致查询时间增加 20%，HBPQ 仍表现出高度有效与可扩展性，尤其在大规模数据集上表现优异。
• 结果表明，当每个单元有足够数据用于训练局部码书时，局部码书比全局码书更具有效性。