[论文解读] Building a Balanced k-d Tree in O(kn log n) Time

Russell A. Brown|arXiv (Cornell University)|Oct 20, 2014

Algorithms and Data Compression参考文献 13被引用 34

一句话总结

本文提出一种新颖算法，通过预先对每个k维数据进行排序，并在树构建过程中保持有序，实现O(kn log n)时间复杂度的平衡k-d树构建。与寻找中位数的方法不同，该方法避免了重复排序，支持高效并行化，在低维空间（≤3D）中性能优于传统方法，4D时性能相当。

ABSTRACT

The original description of the k-d tree recognized that rebalancing techniques, such as are used to build an AVL tree or a red-black tree, are not applicable to a k-d tree. Hence, in order to build a balanced k-d tree, it is necessary to find the median of the data for each recursive subdivision of those data. The sort or selection that is used to find the median for each subdivision strongly influences the computational complexity of building a k-d tree. This paper discusses an alternative algorithm that builds a balanced k-d tree by presorting the data in each of k dimensions prior to building the tree. It then preserves the order of these k sorts during tree construction and thereby avoids the requirement for any further sorting. Moreover, this algorithm is amenable to parallel execution via multiple threads. Compared to an algorithm that finds the median for each recursive subdivision, this presorting algorithm has equivalent performance for four dimensions and better performance for three or fewer dimensions.

研究动机与目标

• 解决中位数查找算法在k-d树构建中的低效问题，尤其是在低维空间中。
• 克服从二叉搜索树（如AVL、红黑树）中借鉴的再平衡技术无法适用于k-d树的局限性。
• 提出一种在递归划分过程中保持各维数据顺序的方法，以消除递归划分中重复排序的开销。
• 通过将排序与树构建解耦，实现高效的并行执行。
• 在保证O(kn log n)时间复杂度最优的同时，提升k ≤ 3时的实际性能。

提出的方法

• 在树构建前，预先对输入数据在k个维度上分别进行排序。
• 在整个递归划分过程中，保持数据点在所有k个维度上的有序性。
• 在每个递归层级使用预排序数据的中位数来分割数据集，避免重复选择或排序操作。
• 利用预排序结构，通过索引追踪实现在每层O(1)时间内提取中位数和分割点。
• 设计保持有序性的数据结构，支持高效分割与遍历。
• 通过将排序与树构建解耦，支持并行执行，允许在初始预排序完成后独立处理子树。

实验结果

研究问题

• RQ1 能否通过消除重复的中位数查找操作来加速k-d树构建？
• RQ2 在每个维度上预排序数据是否能带来相比每层递归调用中位数查找的更优渐近时间复杂度与实际性能？
• RQ3 所提方法能否在实现O(kn log n)时间复杂度的同时，在低维设置下比现有方法更高效？
• RQ4 由于排序与树构建的解耦，该算法在多大程度上可实现并行化？
• RQ5 在k = 2、3和4时，基于预排序的方法与中位数查找方法在常数因子上的性能差异如何？

主要发现

• 所提算法在构建平衡k-d树时达到O(kn log n)时间复杂度，与中位数查找方法的理论上限一致。
• 在k ≤ 3维时，由于常数因子更小且内存访问模式更优，预排序方法优于中位数查找算法。
• 在4维时，预排序方法的性能与中位数查找方法相当。
• 由于排序仅在构建前执行一次，该算法易于并行化，支持独立处理子树。
• 该方法避免了在每个递归层级重复选择或排序的开销，显著提升了缓存效率。
• 论文实现的实验结果证实，在2D和3D中性能更优，实际应用中可观察到显著加速。