[论文解读] Learning Mixtures of Gaussians using the k-means Algorithm

Kamalika Chaudhuri, Sanjoy Dasgupta+1 more|ArXiv.org|Dec 1, 2009

Advanced Clustering Algorithms Research参考文献 26被引用 31

一句话总结

本文分析了 k-means 算法在学习球形高斯混合模型时的表现，提出了一种 2-means 的对称化变体，该算法可收敛至分量均值张成的子空间。研究建立了精确的收敛速率、样本复杂度边界以及信息论下界，表明当分量重叠较小时且维度适中时，k-means 在样本效率方面接近最优。

ABSTRACT

One of the most popular algorithms for clustering in Euclidean space is the $k$-means algorithm; $k$-means is difficult to analyze mathematically, and few theoretical guarantees are known about it, particularly when the data is {\em well-clustered}. In this paper, we attempt to fill this gap in the literature by analyzing the behavior of $k$-means on well-clustered data. In particular, we study the case when each cluster is distributed as a different Gaussian -- or, in other words, when the input comes from a mixture of Gaussians. We analyze three aspects of the $k$-means algorithm under this assumption. First, we show that when the input comes from a mixture of two spherical Gaussians, a variant of the 2-means algorithm successfully isolates the subspace containing the means of the mixture components. Second, we show an exact expression for the convergence of our variant of the 2-means algorithm, when the input is a very large number of samples from a mixture of spherical Gaussians. Our analysis does not require any lower bound on the separation between the mixture components. Finally, we study the sample requirement of $k$-means; for a mixture of 2 spherical Gaussians, we show an upper bound on the number of samples required by a variant of 2-means to get close to the true solution. The sample requirement grows with increasing dimensionality of the data, and decreasing separation between the means of the Gaussians. To match our upper bound, we show an information-theoretic lower bound on any algorithm that learns mixtures of two spherical Gaussians; our lower bound indicates that in the case when the overlap between the probability masses of the two distributions is small, the sample requirement of $k$-means is {\em near-optimal}.

研究动机与目标

• 理解 k-means 在具有良好聚类结构的数据上的理论行为，特别是当数据服从高斯混合分布时。
• 分析对称化 2-means 变体在双分量球形高斯混合上的收敛性质。
• 为使用 k-means 学习两个球形高斯分布建立样本复杂度的上下界。
• 通过证明其收敛至均值子空间，将分析扩展至 k 分量混合模型。

提出的方法

• 提出一种对称化 2-means 算法变体，提升了在高斯混合上的稳定性和收敛性。
• 定义一个势函数 θₜ，即超平面法向与均值子空间之间的最小夹角，通过其减小来追踪收敛过程。
• 采用一种新颖的几何分析方法，结合对均值子空间及其正交分量的投影，推导出 θₜ 的更新规则。
• 推导出 cos²(θₜ₊₁) 的精确表达式，其以 θₜ、分量均值、方差和混合权重为变量。
• 应用 Fano 不等式，推导出学习两个球形高斯分布的样本复杂度的信息论下界。
• 通过证明 2-means 的超平面法向收敛至均值子空间 M 中的向量，将分析扩展至 k 分量混合模型。

实验结果

研究问题

• RQ1 当学习两个球形高斯分布的混合时，对称化 2-means 算法的行为如何？
• RQ2 在高维设置和大样本规模下，2-means 变体的精确收敛速率是什么？
• RQ3 2-means 变体达到真实分量均值良好近似所需的最少样本数是多少？
• RQ4 样本复杂度如何随维度和高斯均值间分离度变化？
• RQ5 2-means 的样本复杂度在学习两个球形高斯分布时是否接近最优？

主要发现

• 对称化 2-means 算法即使在无最小分离要求下，也能成功分离出包含两个球形高斯分量均值的子空间。
• 2-means 变体的收敛速率在维度上呈对数关系，且随分量均值间分离度增加而改善。
• 为使 2-means 收敛至良好解，所需样本数的上界随维度增加而增长，但随均值间分离度增大而减小。
• 信息论下界表明，当高斯分量重叠较小时，2-means 的样本复杂度接近最优。
• 对于 k 分量混合模型，2-means 的超平面法向收敛至分量均值张成子空间中的一个向量，证实了子空间收敛性。