[论文解读] High-Dimensional Approximate Nearest Neighbor Search: with Reliable and Efficient Distance Comparison Operations

Jianyang Gao, Cheng Long|arXiv (Cornell University)|Mar 17, 2023

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

本文提出ADSampling，一种随机化算法，通过以对数方式采样维度而非扫描所有维度，加速高维近似K近邻（AKNN）搜索中的距离比较操作（DCOs）。该方法在绝大多数情况下将DCO时间从O(D)降低至O(log D)，实现近乎零的精度损失，显著提升了多种AKNN算法的效率，兼具理论保证与实证验证。

ABSTRACT

Approximate K nearest neighbor (AKNN) search is a fundamental and challenging problem. We observe that in high-dimensional space, the time consumption of nearly all AKNN algorithms is dominated by that of the distance comparison operations (DCOs). For each operation, it scans full dimensions of an object and thus, runs in linear time wrt the dimensionality. To speed it up, we propose a randomized algorithm named ADSampling which runs in logarithmic time wrt to the dimensionality for the majority of DCOs and succeeds with high probability. In addition, based on ADSampling we develop one general and two algorithm-specific techniques as plugins to enhance existing AKNN algorithms. Both theoretical and empirical studies confirm that: (1) our techniques introduce nearly no accuracy loss and (2) they consistently improve the efficiency.

研究动机与目标

• 解决高维空间中因昂贵的距离比较操作（DCOs）导致的AKNN搜索性能瓶颈。
• 在大多数操作中将DCO的时间复杂度从O(D)降低至O(log D)，同时保持高精度。
• 基于ADSampling开发通用性与算法特定的技术，增强现有AKNN算法，且不损害精度。
• 为所提出的DCO加速方法提供理论保证与实证验证，以确保其高效性与可靠性。

提出的方法

• ADSampling利用随机投影与序贯假设检验，通过采样维度估算距离，避免完整维度计算。
• 应用浓度不等式以限制近似误差，确保在最小采样量下具有高概率正确性。
• 通过在采样过程中若发现距离已超过阈值则提前停止，以区分正样本与负样本。
• 采用通用插件技术，通过将标准DCOs替换为加速版本，将ADSampling无缝集成到任意AKNN算法中。
• 设计了两种算法特定技术：一种用于基于图的方法（如HNSW），另一种用于向量量化（如IVF），以优化其独特的候选生成模式。
• 通过向量归一化与变换，该方法可扩展至余弦相似度与内积比较。

实验结果

研究问题

• RQ1 在高维AKNN搜索中，能否在几乎不损失精度的情况下加速距离比较操作？
• RQ2 基于采样的方法能否在保持高成功概率的同时，实现DCO的O(log D)时间复杂度？
• RQ3 ADSampling如何作为通用插件集成到多种AKNN算法中以实现性能增强？
• RQ4 ADSampling对AKNN搜索整体效率的理论与实证影响如何？
• RQ5 所提出的方法能否扩展至其他相似度度量（如余弦相似度与内积）？

主要发现

• ADSampling将绝大多数操作的DCO时间复杂度从O(D)降低至O(log D)，实际性能达到对数级别。
• 在DEEP数据集（256维）上，HNSW中DCO占总运行时间的77.2%，使用ADSampling后显著降低。
• 所提技术引入的精度损失可忽略不计，所有评估数据集与算法中KNN质量均无明显下降。
• 实证结果表明，ADSampling在多种AKNN算法（包括HNSW、IVF及基于图的方法）中均实现一致的加速效果。
• 理论分析证实，ADSampling以高概率成功，且在无数据假设下保持有界误差。
• 通过简单的向量变换，该方法可扩展至余弦相似度与内积比较，显著拓宽其适用范围。