[论文解读] How the initialization affects the stability of the k-means algorithm

Sébastien Bubeck, Marina Meilă+1 more|ArXiv.org|Jul 31, 2009

Advanced Clustering Algorithms Research参考文献 10被引用 5

一句话总结

本文研究了初始化如何在实际中影响k-means算法的稳定性，表明当以每个真实聚类一个中心初始化（K′ = K）时，k-means是稳定的，并收敛到正确的聚类。当以多于聚类数的中心初始化（K′ > K）时，由于初始配置的差异，会出现不稳定性，这解释了为何基于稳定性的模型选择在实际应用中能成功识别真实的聚类数。

ABSTRACT

We investigate the role of the initialization for the stability of the k-means clustering algorithm. As opposed to other papers, we consider the actual k-means algorithm and do not ignore its property of getting stuck in local optima. We are interested in the actual clustering, not only in the costs of the solution. We analyze when different initializations lead to the same local optimum, and when they lead to different local optima. This enables us to prove that it is reasonable to select the number of clusters based on stability scores.

研究动机与目标

• 理解初始化如何影响实际k-means算法的稳定性，而不仅仅是其目标函数值。
• 弥补传统上假设理想化、全局最优k-means算法的聚类稳定性理论理解上的空白。
• 分析初始化在决定k-means是否收敛到相同或不同局部最优解中的作用。
• 验证基于稳定性的模型选择在选择聚类数k方面的实际成功。
• 通过初始中心配置，对k-means中局部最优解的“吸引域”进行表征，提出一种新颖的理论方法。

提出的方法

• 使用一维高斯混合模型分析不同初始配置下k-means的行为。
• 引入“初始配置”概念——即分配给每个真实聚类的初始中心数量——作为最终聚类结果的关键决定因素。
• 证明当K′ = K且每个真实聚类分配一个中心时，算法保持稳定并收敛到正确聚类。
• 展示当K′ > K时，由于初始配置的差异导致不同的最终聚类，从而产生不稳定性。
• 研究一种非均匀初始化方案，该方案以高概率确保每个真实聚类中至少有一个中心，证明其有效性。
• 使用基于配置的论证和集中不等式，分析一维高斯混合模型中的收敛行为。

实验结果

研究问题

• RQ1 在何种初始化条件下，k-means算法在不同运行中收敛到相同的聚类？
• RQ2 为何基于稳定性的k-means模型选择在实践中通常能识别出真实的聚类数？
• RQ3 初始中心数量（K′）相对于真实聚类数（K）如何影响k-means聚类的稳定性？
• RQ4 非均匀初始化方案能否以高概率确保至少一个中心落在每个真实聚类中？
• RQ5 在数据具有明显分离聚类的情况下，k-means因初始化而表现出不稳定性，其理论条件是什么？

主要发现

• 对于两组一维高斯混合模型，当以恰好两个中心初始化（K′ = K）时，k-means是稳定的；但当以三个中心初始化（K′ > K）时则不稳定。
• 稳定性关键取决于初始配置：若每个真实聚类初始即放置一个中心，算法将保持稳定。
• 当K′ > K时，不同的初始配置会导致不同的最终聚类，从而引发不稳定性。
• 在基于稳定性的模型选择中，标准k-means算法（无重启）与带重启的版本在稳定性方面表现相当，这与“重启能提高稳定性”的直觉相矛盾。
• 非均匀初始化方案被证明能以高概率确保每个真实聚类中至少有一个中心，而均匀随机初始化则无法保证这一点。
• 本文首次基于初始中心配置，对k-means中局部最优解的“吸引域”提供了理论表征。