[论文解读] An Efficient Method of Partitioning High Volumes of Multidimensional Data for Parallel Clustering Algorithms

Saraswati Mishra, Avnish Chandra Suman|arXiv (Cornell University)|Sep 20, 2016

Data Management and Algorithms参考文献 3被引用 6

一句话总结

该论文提出了一种新颖的分区方法，利用 Voronoi 平面的树结构并结合可扩展的 K-Means++ 种子选择策略，以高效地在并行聚类中分布高维多维数据。随着维度增加，该方法在可扩展性和负载均衡方面优于传统的 Kd-trees 和基于网格的方法，尤其在高维工业工作负载（数百至数千维）中表现更优。

ABSTRACT

An optimal data partitioning in parallel & distributed implementation of clustering algorithms is a necessary computation as it ensures independent task completion, fair distribution, less number of affected points and better & faster merging. Though partitioning using Kd Tree is being conventionally used in academia, it suffers from performance drenches and bias (non equal distribution) as dimensionality of data increases and hence is not suitable for practical use in industry where dimensionality can be of order of 100s to 1000s. To address these issues we propose two new partitioning techniques using existing mathematical models & study their feasibility, performance (bias and partitioning speed) & possible variants in choosing initial seeds. First method uses an n dimensional hashed grid based approach which is based on mapping the points in space to a set of cubes which hashes the points. Second method uses a tree of voronoi planes where each plane corresponds to a partition. We found that grid based approach was computationally impractical, while using a tree of voronoi planes (using scalable K-Means++ initial seeds) drastically outperformed the Kd-tree tree method as dimensionality increased.

研究动机与目标

• 解决 Kd-trees 和基于网格的分区在高维数据聚类中的局限性。
• 在大规模、高维数据集的并行聚类中，改善负载均衡并减少分区开销。
• 开发一种可扩展、低偏差的分区技术，适用于维度在数百到数千的工业应用场景。
• 评估替代的初始种子选择策略，以提升分区质量和性能。

提出的方法

• 提出一种基于树的结构，其中每个内部节点代表一个 Voronoi 平面，将数据空间划分为凸区域。
• 使用可扩展的 K-Means++ 选择初始种子，使其在数据空间中分布更均匀，从而减少分区偏差。
• 每个数据点被分配到最近的 Voronoi 平面，从而形成数据集的分层分区。
• 该方法通过基于 Voronoi 边界递归分割区域，动态适应数据分布。
• 采用空间填充方法，保持分区之间的几何分离性，并最小化重叠。
• 在分区速度、负载不平衡性和可扩展性方面，与 Kd-tree 和哈希网格方法进行性能对比。

实验结果

研究问题

• RQ1 在高维情况下，所提出的基于 Voronoi 的分区方法与 Kd-trees 相比，在负载均衡和分区速度方面表现如何？
• RQ2 不同的初始种子选择策略对高维聚类中分区质量和收敛性有何影响？
• RQ3 基于 Voronoi 平面的树结构能否在不降低性能的前提下有效处理具有数百至数千维的数据？
• RQ4 与现有技术相比，该方法在动态负载重新平衡过程中如何减少受影响的数据点数量？
• RQ5 基于网格的哈希方法在实际中是否适用于高维数据分区？

主要发现

• 基于网格的哈希方法在高维数据中计算上不可行，因其导致过高的内存和计算开销。
• 随着维度增加，基于 Voronoi 平面的树方法在分区速度和负载均衡方面显著优于 Kd-trees。
• 使用可扩展的 K-Means++ 进行种子选择减少了分区偏差，并改善了数据在各簇间的分布。
• 即使在高维（高达 1000+ 维）情况下，基于 Voronoi 的方法仍能保持较低的负载不平衡，而 Kd-trees 则表现出性能下降。
• 所提出的方法在涉及高维数据的并行聚类工作负载中展现出卓越的可扩展性和效率。
• 研究证实，基于 Voronoi 的分区是传统方法在工业规模应用中的可行且有效的替代方案。