[论文解读] A New Parallelization Method for K-means

Shikai Jin, Yuxuan Cui+1 more|arXiv (Cornell University)|Aug 23, 2016

Advanced Clustering Algorithms Research参考文献 7被引用 6

一句话总结

本文提出 IPKMeans，一种新颖的并行 k-means 方法，通过基于 k-d 树的预处理阶段，在单个 MapReduce 作业中完成聚类，实现高度并行的质心更新。通过允许多个 reducer 同时更新每个质心，并最小化 I/O 开销，IPKMeans 将 I/O 成本相比 PKMeans 最多降低 66%，执行时间也更短，在 Hadoop 上对大规模数据集实现了与 PKMeans 相当的聚类结果，但效率显著提升。

ABSTRACT

K-means is a popular clustering method used in data mining area. To work with large datasets, researchers propose PKMeans, which is a parallel k-means on MapReduce. However, the existing k-means parallelization methods including PKMeans have many limitations. PKMeans can't finish all its iterations in one MapReduce job, so it has to repeat cascading MapReduce jobs in a loop until convergence. On the most popular MapReduce platform, Hadoop, every MapReduce job introduces significant I/O overheads and extra execution time at stages of job start-up and shuffling. Even worse, it has been proved that in the worst case, k-means needs $2^{Ω(n)}$ MapReduce jobs to converge, where n is the number of data instances, which means huge overheads for large datasets. Additionally, in PKMeans, at most one reducer can be assigned to and update each centroid, so PKMeans can only make use of limited number of parallel reducers. In this paper, we propose an improved parallel method for k-means, IPKMeans, which has a parallel preprocessing stage using k-d tree and can finish k-means in one single MapReduce job with much more reducers working in parallel and lower I/O overheads than PKMeans and has a fast post-processing stage generating the final result. In our method, both k-d tree and the new improved parallel k-means are implemented using MapReduce and tested on Hadoop. Our experiments show that with same dataset and initial centroids, our method has up to 2/3 lower I/O overheads and consumes less amount of time than PKMeans to get a very close clustering result.

研究动机与目标

• 解决现有基于 MapReduce 的 k-means 方法（如 PKMeans）存在的高 I/O 开销和可扩展性限制问题。
• 通过在单个作业迭代中实现完整的 k-means 收敛，消除对级联 MapReduce 作业的需求。
• 通过允许多个 reducer 同时更新同一质心，提高并行度。
• 减少在 Hadoop 上大规模 k-means 聚类的收敛时间和 I/O 成本。
• 设计一种可扩展、高效的并行 k-means 框架，在保持聚类质量的同时提升性能。

提出的方法

• 在预处理阶段构建 k-d 树，以在主 MapReduce 作业之前实现数据点的高效空间划分。
• 主 MapReduce 作业利用 k-d 树结构将数据点分配给质心，允许多个 reducer 并行处理不同区域。
• 允许多个 reducer 同时更新同一质心，提高并行度并减少所需作业迭代次数。
• 通过后处理阶段聚合各 reducer 的部分质心更新，生成最终聚类结果。
• k-d 树构建和改进的 k-means 算法均使用 Hadoop MapReduce 实现。
• 通过在单个 MapReduce 作业内完成所有迭代，避免重复的任务调度和数据洗牌。

实验结果

研究问题

• RQ1 是否可以在保持聚类准确性的前提下，通过单个 MapReduce 作业完成 k-means 聚类？
• RQ2 是否可以有效分配多个 reducer 共同更新同一质心，以提升并行度并减少 I/O 开销？
• RQ3 k-d 树预处理是否能够降低分布式 k-means 聚类中的通信和计算成本？
• RQ4 在大规模数据集上，所提方法与 PKMeans 相比，其 I/O 开销和执行时间如何？
• RQ5 所提方法是否能在减少作业迭代次数的同时，实现与 PKMeans 相当的聚类质量并实现收敛？

主要发现

• IPKMeans 在单个 MapReduce 作业中完成 k-means 聚类，消除了 PKMeans 所需的级联作业迭代。
• 在相同数据集和初始质心条件下，与 PKMeans 相比，该方法将 I/O 开销最多降低 66%。
• 由于减少了作业启动和数据洗牌的开销，执行时间显著低于 PKMeans。
• k-d 树的使用实现了更高效的数据划分，并支持多个 reducer 同时更新同一质心。
• 最终聚类结果与 PKMeans 非常接近，表明准确性损失极小。
• 通过最小化重复的任务调度并改善 reducer 间的负载分配，该方法在大规模数据集上具有更好的可扩展性。