[论文解读] Scalable Nearest Neighbor Search based on kNN Graph

Wan‐Lei Zhao, Jie Yang+1 more|arXiv (Cornell University)|Jan 30, 2017

Advanced Image and Video Retrieval Techniques参考文献 17被引用 6

一句话总结

本文提出 IVF+E-GNNS，一种可扩展的最近邻搜索方法，结合 kNN 图的爬山法与多层残差向量量化（RVQ）倒排索引。通过利用 RVQ 指导从高概率区域开始搜索，并实现高效、内存轻量的索引，该方法在 SIFT1M 和 GIST1M 数据集上实现了接近 100% 的召回率，且速度极快，优于现有的压缩与非压缩基线方法，在速度、召回率和内存效率方面表现更优。

ABSTRACT

Nearest neighbor search is known as a challenging issue that has been studied for several decades. Recently, this issue becomes more and more imminent in viewing that the big data problem arises from various fields. In this paper, a scalable solution based on hill-climbing strategy with the support of k-nearest neighbor graph (kNN) is presented. Two major issues have been considered in the paper. Firstly, an efficient kNN graph construction method based on two means tree is presented. For the nearest neighbor search, an enhanced hill-climbing procedure is proposed, which sees considerable performance boost over original procedure. Furthermore, with the support of inverted indexing derived from residue vector quantization, our method achieves close to 100% recall with high speed efficiency in two state-of-the-art evaluation benchmarks. In addition, a comparative study on both the compressional and traditional nearest neighbor search methods is presented. We show that our method achieves the best trade-off between search quality, efficiency and memory complexity.

研究动机与目标

• 解决高维、大规模向量空间中最近邻搜索的可扩展性与效率挑战。
• 通过引导式初始化减少局部最优陷阱，提升 kNN 图上爬山搜索的性能。
• 通过基于多层残差向量量化（RVQ）的倒排索引，实现最小内存开销下的高搜索召回率。
• 在最近邻搜索中实现速度、召回率与内存成本的平衡，优于现有压缩与非压缩方法。
• 通过在压缩表示上实现高效、稀疏的索引，支持十亿规模的最近邻搜索。

提出的方法

• 提出一种时间复杂度为 O(n·log(n)·D) 的可扩展 kNN 图构建方法，支持大规模数据集的高效索引。
• 引入一种增强的爬山过程，利用多层残差向量量化（RVQ）从可能包含真实最近邻的区域引导搜索。
• 采用基于 RVQ 的倒排索引，仅存储参考向量 ID，最大限度减少内存开销，同时实现快速检索。
• 通过 RVQ 实现从粗到细的向量空间划分，引导搜索朝高概率候选区域进行，提升收敛速度与召回率。
• 结合基于 kNN 图的搜索与基于量化索引的方法，兼顾高精度与高效率。
• 通过小词汇量的稀疏索引支持十亿规模数据集，实现高效且可扩展的搜索。

实验结果

研究问题

• RQ1 基于 kNN 图的最近邻搜索方法是否能在大规模数据集上实现低内存开销与高速度的同时达到高召回率？
• RQ2 如何改进 kNN 图上的爬山搜索，以避免陷入局部最优并加速收敛？
• RQ3 残差向量量化能否有效用于引导搜索初始化，且不带来显著的内存开销？
• RQ4 与最先进的压缩与非压缩最近邻搜索方法相比，该方法在速度、召回率与内存效率方面表现如何？
• RQ5 该方法是否能在保持高搜索质量与效率的前提下，扩展至十亿规模的数据集？

主要发现

• 在 SIFT1M 和 GIST1M 上，IVF+E-GNNS 分别实现 1.8ms 和 8.0ms 的平均查询时间，召回率接近 100%，在召回率-速度权衡上优于 EFANNA 和 ANN。
• 在 SIFT1M 上实现 98.3% 召回率@1 与 98.3% 召回率@100，在 GIST1M 上实现 94.3% 召回率@1 与 94.3% 召回率@100，内存开销极小（分别为参考集大小的 1.234× 和 1.053×）。
• 与 IVFPQ 和 IVFRVQ 相比，IVF+E-GNNS 实现了显著更高的召回率，查询速度更快，内存消耗更低。
• 在速度与召回率方面均优于 E2LSH 与 FLANN，尤其在高召回率阈值下表现更优，且比暴力搜索更具可扩展性。
• 基于 RVQ 的倒排索引实现了稀疏、高效的索引，内存开销可忽略不计，使十亿规模搜索成为可能。
• 由 RVQ 引导的增强爬山过程相比基线 E-GNNS，平均召回率提升超过 10%，且查询时间相当。