[论文解读] Clustering Stability: An Overview

Ulrike von Luxburg|arXiv (Cornell University)|Jul 7, 2010

Advanced Clustering Algorithms Research参考文献 28被引用 183

一句话总结

本文提供了聚类稳定性作为无监督学习中选择最优聚类数的一种方法的全面且易于理解的概述。它分析了K均值聚类中稳定性的理论基础，表明当聚类数与真实潜在结构相匹配时，特别是基于中心的聚类假设且样本量足够大时，稳定的聚类划分会自然出现。

ABSTRACT

A popular method for selecting the number of clusters is based on stability arguments: one chooses the number of clusters such that the corresponding clustering results are "most stable". In recent years, a series of papers has analyzed the behavior of this method from a theoretical point of view. However, the results are very technical and difficult to interpret for non-experts. In this paper we give a high-level overview about the existing literature on clustering stability. In addition to presenting the results in a slightly informal but accessible way, we relate them to each other and discuss their different implications.

研究动机与目标

• 为不熟悉技术文献的研究人员提供近期关于聚类稳定性理论工作的清晰、非技术性综述。
• 阐明聚类稳定性在何种条件下能可靠识别出真实的聚类数，特别是在K均值聚类的背景下。
• 评估基于稳定性的模型选择所依赖的局限性与假设，特别是关于聚类形状、样本量和聚类数方面。
• 突出实现稳定性协议中的开放问题与实际挑战，包括归一化和算法变体问题。

提出的方法

• 将聚类稳定性定义为从同一潜在分布中独立采样得到的聚类结果之间的期望距离。
• 在理想化（无限样本量）和有限样本设置下分析K均值算法的稳定性。
• 利用K均值在对称性和全局最小值唯一性条件下的收敛结果，刻画稳定聚类的特征。
• 提出一种初始化方案，使聚类中心以高概率落入不同聚类中，从而提升稳定性的检测能力。
• 比较不同聚类协议下的理论稳定性表现，并讨论其对实际实现的影响。
• 评估在不同假设（如聚类形状和聚类数）下，基于稳定性的模型选择的鲁棒性。

实验结果

研究问题

• RQ1 在何种条件下，聚类稳定性能可靠识别出K均值聚类中的真实聚类数？
• RQ2 理想化K均值的理论稳定性结果与有限样本、实际场景下的结果相比如何？
• RQ3 当聚类非球形或聚类数较大时，基于稳定性的模型选择存在哪些局限性？
• RQ4 基于稳定性的选择在多大程度上可推广到K均值以外的其他聚类算法？
• RQ5 不同的实现协议（例如抖动法与跳跃法）如何影响稳定性评分和模型选择结果？

主要发现

• 当真实聚类为基于中心的聚类且聚类数相对较少（例如在10个左右）时，基于稳定性的模型选择效果最佳。
• 理论结果表明，只有当聚类数K与真实潜在结构相匹配时，K均值才能产生稳定的聚类划分。
• 在理想极限（无限数据）下，只有当聚类边界与高密度和低密度区域对齐时，K均值才会收敛到稳定解。
• 有限样本结果对初始化方式极为敏感：一种能将中心置于不同聚类中的合理初始化方案，可显著提高检测正确K值的可能性。
• 对于高度拉长或复杂形状的聚类，稳定性会失效，因为无论K取何值，K均值都无法有效表示此类结构。
• 目前尚无关于计算或归一化稳定性评分的最佳实践共识，也缺乏对现有协议的全面经验比较。