[论文解读] Efficient K-Nearest Neighbor Join Algorithms for High Dimensional Sparse Data

Jijie Wang, Lin Lei+3 more|arXiv (Cornell University)|Nov 12, 2010

Data Management and Algorithms参考文献 9被引用 5

一句话总结

本文提出三种针对高维稀疏数据的K近邻（KNN）连接算法——暴力法（BF）、基于倒排索引的（IIB）以及改进的基于倒排索引的（IIIB）——特别针对蛋白质组学应用。IIIB通过结合倒排索引与基于阈值的优化，实现了相较于BF高达10倍的加速，在10,000维的合成与真实世界数据集上显著降低了I/O与CPU开销。

ABSTRACT

The K-Nearest Neighbor (KNN) join is an expensive but important operation in many data mining algorithms. Several recent applications need to perform KNN join for high dimensional sparse data. Unfortunately, all existing KNN join algorithms are designed for low dimensional data. To fulfill this void, we investigate the KNN join problem for high dimensional sparse data. In this paper, we propose three KNN join algorithms: a brute force (BF) algorithm, an inverted index-based(IIB) algorithm and an improved inverted index-based(IIIB) algorithm. Extensive experiments on both synthetic and real-world datasets were conducted to demonstrate the effectiveness of our algorithms for high dimensional sparse data.

研究动机与目标

• 解决高维稀疏数据中缺乏高效KNN连接算法的问题，尤其在计算蛋白质组学中的应用。
• 设计可扩展的KNN连接算法，能够处理高达10,000维且具有稀疏性的数据。
• 通过利用数据稀疏性与索引策略，降低KNN连接中的I/O与CPU开销。
• 通过基于阈值的优化策略，减少不必要的距离计算，提升性能。
• 通过分块嵌套循环策略，实现在主内存之外的大规模数据集上的高效KNN连接。

提出的方法

• 提出一种暴力法（BF）基线算法，用于高维稀疏向量的KNN连接。
• 设计一种基于倒排索引的（IIB）算法，对稀疏向量集合S中的非零特征进行索引，避免扫描零值条目。
• 在IIIB中引入基于阈值的优化，在得分累积过程中动态剪枝候选向量，降低索引与列表扫描的开销。
• 使用点积作为相似性度量，将稀疏向量表示为（维度，权重）对，以实现高效计算。
• 采用分块嵌套循环连接并结合缓冲管理，处理超过主内存容量的数据集。
• 通过排序数据集与调度连接操作，优化性能，降低I/O与CPU开销。

实验结果

研究问题

• RQ1 倒排索引是否能有效降低高维稀疏数据中KNN连接的I/O与CPU开销？
• RQ2 基于阈值的优化相比基础倒排索引，如何进一步提升KNN连接的效率？
• RQ3 所提出的算法在数据集大小、相对数据集大小与缓冲区大小方面如何扩展？
• RQ4 在真实世界蛋白质组学数据集中，IIIB相较于BF与IIB的性能提升如何？
• RQ5 所提出的算法能否高效处理极高维稀疏数据（例如10,000维）？

主要发现

• 在真实世界的酿酒酵母与线虫数据集上，IIIB相较于BF最高实现10倍加速，相较于IIB平均提升16%。
• IIB与IIIB在不同数据集大小下表现稳定，而BF的开销随数据集增大而急剧上升。
• 所有算法的I/O时间随缓冲区减小而增加，但在内存受限条件下，IIIB仍保持显著性能优势。
• CPU时间随k值增加而适度上升，因剪枝策略与k无关，且IIIB始终优于IIB与BF。
• IIIB中的基于阈值的优化显著降低了索引构建与列表扫描的开销，尤其在缓冲区较小时效果更明显。
• IIIB与IIB在相对数据集大小（R:S比例从10:1到1:10）下均表现出良好可扩展性，性能下降可忽略。