[论文解读] Fast k-Nearest Neighbour Search via Prioritized DCI

Ke Li, Jitendra Malik|arXiv (Cornell University)|Mar 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用 13

一句话总结

该论文提出了一种新型的k近邻搜索算法——优先级DCI（Prioritized DCI），通过为索引分配优先级，改进了动态连续索引（DCI）方法，有效降低了查询时间对固有维度的依赖。该方法实现了查询时间与固有维度的线性增长，有效抑制了邻近点数量的指数级增长；与LSH相比，距离计算次数减少最多达116倍，内存使用量减少最多达21倍。

ABSTRACT

Most exact methods for k-nearest neighbour search suffer from the curse of dimensionality; that is, their query times exhibit exponential dependence on either the ambient or the intrinsic dimensionality. Dynamic Continuous Indexing (DCI) offers a promising way of circumventing the curse and successfully reduces the dependence of query time on intrinsic dimensionality from exponential to sublinear. In this paper, we propose a variant of DCI, which we call Prioritized DCI, and show a remarkable improvement in the dependence of query time on intrinsic dimensionality. In particular, a linear increase in intrinsic dimensionality, or equivalently, an exponential increase in the number of points near a query, can be mostly counteracted with just a linear increase in space. We also demonstrate empirically that Prioritized DCI significantly outperforms prior methods. In particular, relative to Locality-Sensitive Hashing (LSH), Prioritized DCI reduces the number of distance evaluations by a factor of 14 to 116 and the memory consumption by a factor of 21.

研究动机与目标

• 解决k近邻搜索中的维度灾难问题，特别是固有维度增加导致的查询时间指数级增长。
• 克服k-d树和LSH等空间划分方法在高维空间中因边界效应和固定划分导致的性能下降问题。
• 在标准DCI的基础上引入索引优先级机制，提升搜索效率并降低查询时间复杂度。
• 在保持高精度和低内存使用的同时，实现固有维度上的次线性查询时间扩展。
• 在真实世界数据集上，显著优于当前最先进的方法（如LSH和乘积量化）在速度和内存效率方面的表现。

提出的方法

• 提出Prioritized DCI，作为动态连续索引（DCI）的变体，其中每个索引根据其对查询准确率的预期贡献被赋予优先级。
• 构建多个索引，每个索引基于沿随机方向的投影，对数据点进行随机排序，确保数据空间中邻近的点具有相似的排名。
• 使用优先队列在每个查询步骤中动态选择最具信息量的索引，将计算资源集中于最可能返回近邻的索引。
• 结合多个优先级索引的结果以检索k个最近邻，并采用早期停止启发式策略，减少不必要的距离计算。
• 维护一种支持动态更新而无需重新训练的数据结构，充分利用索引方案的连续特性。
• 优化超参数（如索引数量、投影长度），在准确率、速度和内存使用之间取得平衡，并通过消融实验分析空间效率的权衡。

实验结果

研究问题

• RQ1 在DCI索引上应用优先级策略，能否有效降低查询时间对固有维度的指数依赖？
• RQ2 在高维设置下，Prioritized DCI相较于LSH和乘积量化，能在多大程度上减少距离计算次数？
• RQ3 在不同数据集和超参数设置下，Prioritized DCI在内存效率方面与LSH和标准DCI相比表现如何？
• RQ4 优先级机制是否能加快k-NN检索的收敛速度，同时保持或提升近似质量？
• RQ5 Prioritized DCI能否在高固有维度数据集（如CIFAR-100和MNIST）上实现有效扩展，且性能下降最小？

主要发现

• 在CIFAR-100上，与LSH相比，Prioritized DCI将距离计算次数减少了90.9%至93.8%，查询效率提升14倍。
• 在MNIST上，与LSH相比，Prioritized DCI将距离计算次数减少了98.8%至99.3%，查询效率提升116倍。
• 在与标准DCI相同的超参数设置下，Prioritized DCI在CIFAR-100上比LSH减少95.5%的内存使用，在MNIST上减少95.3%，即减少21倍。
• 在空间高效配置下，与LSH相比，Prioritized DCI在CIFAR-100上内存使用减少98.2%，在MNIST上减少97.9%，分别实现55倍和48倍的减少。
• Prioritized DCI在MNIST上完成100次查询仅耗时1.18秒，而LSH耗时104.71秒，壁钟时间提升达89倍。
• 该算法保持了高近似质量，所有测试数据集和设置下的近似比率均接近1，证实了在计算量减少的同时仍能保持精度。