[论文解读] An Information-Theoretic Analysis of Hard and Soft Assignment Methods for Clustering

Michael Kearns, Yishay Mansour+1 more|arXiv (Cornell University)|Feb 6, 2013

Advanced Clustering Algorithms Research被引用 13

一句话总结

本文对硬分配与软分配聚类方法进行了信息论分析，表明K-means通过熵隐式平衡了簇相似性与簇平衡，而EM则优先考虑似然性。关键贡献在于一种失真分解，揭示了K-means倾向于选择重叠较少的簇密度，而不同于EM；此外，提出了一种新型后验分配方法，尽管其形式与软分配相似，但行为表现截然不同。

ABSTRACT

Assignment methods are at the heart of many algorithms for unsupervised learning and clustering - in particular, the well-known K-means and Expectation-Maximization (EM) algorithms. In this work, we study several different methods of assignment, including the "hard" assignments used by K-means and the ?soft' assignments used by EM. While it is known that K-means minimizes the distortion on the data and EM maximizes the likelihood, little is known about the systematic differences of behavior between the two algorithms. Here we shed light on these differences via an information-theoretic analysis. The cornerstone of our results is a simple decomposition of the expected distortion, showing that K-means (and its extension for inferring general parametric densities from unlabeled sample data) must implicitly manage a trade-off between how similar the data assigned to each cluster are, and how the data are balanced among the clusters. How well the data are balanced is measured by the entropy of the partition defined by the hard assignments. In addition to letting us predict and verify systematic differences between K-means and EM on specific examples, the decomposition allows us to give a rather general argument showing that K ?means will consistently find densities with less "overlap" than EM. We also study a third natural assignment method that we call posterior assignment, that is close in spirit to the soft assignments of EM, but leads to a surprisingly different algorithm.

研究动机与目标

• 理解硬分配（K-means）与软分配（EM）聚类方法在优化目标之外的系统性差异。
• 分析簇平衡（通过硬分配的熵衡量）对聚类算法失真影响的机制。
• 形式化K-means中类内相似性与簇平衡之间隐含权衡的机制，并将其推广至参数化密度估计。
• 提出并分析一种新型后验分配方法，其与EM在精神上相似，但行为表现显著不同。
• 为K-means倾向于发现重叠较少的簇结构提供理论依据。

提出的方法

• 推导了期望失真的分解，其包含两个分量：类内相似性与簇平衡（通过硬分配的熵衡量）。
• 运用信息论工具表明，K-means隐式优化了最小化簇内失真与最大化分配划分熵之间的权衡。
• 将失真分解应用于K-means及其扩展，用于从未标记数据中推断参数化密度。
• 提出“后验分配”——一种使用后验概率但因优化目标不同而与EM产生根本差异的算法。
• 通过具体实例比较K-means、EM与后验分配的行为，以验证理论预测。
• 采用理论分析表明，在相同数据与初始化条件下，K-means始终能发现重叠少于EM的簇密度。

实验结果

研究问题

• RQ1 硬分配与软分配方法在最小化失真或最大化似然性之外，其隐式优化目标有何不同？
• RQ2 簇平衡（通过分配的熵衡量）在K-means及相关算法性能中起什么作用？
• RQ3 为何K-means倾向于产生重叠较少的簇结构，尽管EM也用于聚类？
• RQ4 所提出的后验分配方法与EM在行为与结果上存在何种差异，尽管二者具有相似的概率基础？
• RQ5 能否通过统一的信息论框架解释K-means与EM聚类之间的系统性差异？

主要发现

• K-means的失真可分解为衡量类内相似性的项与通过熵衡量簇平衡的项，揭示了隐含的权衡机制。
• K-means隐式偏好更均衡（熵更高）且重叠更少的簇分配，从而产生更稀疏、更分离的簇结构。
• 所提出的后验分配方法虽在精神上与EM的软分配相似，但导致根本不同的算法，具有独特的收敛性与聚类行为。
• 理论分析确认，在相同数据与初始化条件下，K-means始终发现重叠少于EM的簇密度。
• 实证示例验证了失真分解能准确预测K-means与EM在聚类结果上的可观测差异。
• 该分析提供了普遍性论据：即使在相同数据上应用，K-means也倾向于发现重叠更少的簇结构，而EM则不然。