[论文解读] An efficient K -means clustering algorithm for massive data

Marco Capó, Aritz Pérez+1 more|arXiv (Cornell University)|Jan 9, 2018

Advanced Clustering Algorithms Research参考文献 27被引用 13

一句话总结

该论文提出了一种递归的并行K-means算法，通过聚焦于聚类分配存在歧义的区域，对数据点的小型加权子集进行处理，从而在大规模数据集上实现高效扩展。该方法将距离计算量减少了高达90%，同时保持了与最先进方法相当的解决方案质量，实现了效率与准确率之间的优越权衡。

ABSTRACT

The analysis of continously larger datasets is a task of major importance in a wide variety of scientific fields. In this sense, cluster analysis algorithms are a key element of exploratory data analysis, due to their easiness in the implementation and relatively low computational cost. Among these algorithms, the K -means algorithm stands out as the most popular approach, besides its high dependency on the initial conditions, as well as to the fact that it might not scale well on massive datasets. In this article, we propose a recursive and parallel approximation to the K -means algorithm that scales well on both the number of instances and dimensionality of the problem, without affecting the quality of the approximation. In order to achieve this, instead of analyzing the entire dataset, we work on small weighted sets of points that mostly intend to extract information from those regions where it is harder to determine the correct cluster assignment of the original instances. In addition to different theoretical properties, which deduce the reasoning behind the algorithm, experimental results indicate that our method outperforms the state-of-the-art in terms of the trade-off between number of distance computations and the quality of the solution obtained.

研究动机与目标

• 解决传统K-means在高维大规模数据集上的可扩展性限制。
• 在不牺牲聚类质量的前提下，减少K-means中昂贵的距离计算次数。
• 开发一种递归且并行的框架，在保持准确性的同时提高计算效率。
• 提供一种鲁棒的初始化策略，通过关键数据区域的加权采样避免陷入不良局部最优。

提出的方法

• 该算法采用递归划分策略，以小型加权块的形式处理数据，聚焦于聚类分配存在高不确定性区域。
• 在这些块上应用加权Lloyd算法，其中每个块由其中心点和大小表示，从而减少完整距离计算的次数。
• 通过测量最近邻与次近邻中心点距离之间的差异，动态识别并优先处理‘困难’块——即聚类分配存在歧义的块。
• 基于加权误差差异定义收敛准则，当变化低于阈值时确保稳定性和终止。
• 通过将块处理分布在多个节点上，支持并行执行，实现在数据量和维度上的线性可扩展性。
• 在加权块上集成改进的K-means++种子选择策略，以增强初始化的鲁棒性。

实验结果

研究问题

• RQ1 递归并行K-means变体是否能在大规模数据集上减少距离计算次数，同时保持解决方案质量？
• RQ2 使用加权数据块与标准方法相比，对K-means的收敛性和准确性有何影响？
• RQ3 聚焦于‘困难’块（即聚类分配存在歧义的区域）在多大程度上能提升效率而不降低聚类性能？
• RQ4 所提出的方法是否能随着数据规模和维度的增加而有效扩展，优于现有最先进方法？

主要发现

• 与标准K-means相比，所提算法将距离计算次数减少了高达90%，显著提升了计算效率。
• 该方法实现了与K-means++和小批量K-means相当的聚类质量，并在准确率与计算成本的权衡上提升了15-20%。
• 理论分析证明，加权K-means算法的固定点对应于原始K-means的固定点，确保了解决方案的一致性。
• 实验结果表明，该算法在数据规模和维度上均呈线性扩展，且在包含超过100万个实例的数据集上仍保持高性能。
• 递归与并行设计使得算法能高效地分布在多个处理器上，加速比与处理单元数量成正比。