[论文解读] Clustering with Spectral Norm and the k-means Algorithm

Amit Kumar, Ravindran Kannan|arXiv (Cornell University)|Apr 11, 2010

Data Management and Algorithms参考文献 12被引用 28

一句话总结

本文提出了一种基于k均值方法的新型聚类算法，该算法在确定性邻近条件下运行，仅需满足每个点在投影到其自身聚类中心与其他任意中心连线时，其距离比其他中心近 $Ω(k)$ 个标准差。该方法采用基于谱范数的标准差估计，并证明了即使存在虚假点，也能收敛到真实中心，从而在更弱的分离假设下推广了针对高斯分布和幂律分布的先前结果。

ABSTRACT

There has been much progress on efficient algorithms for clustering data points generated by a mixture of $k$ probability distributions under the assumption that the means of the distributions are well-separated, i.e., the distance between the means of any two distributions is at least $Ω(k)$ standard deviations. These results generally make heavy use of the generative model and particular properties of the distributions. In this paper, we show that a simple clustering algorithm works without assuming any generative (probabilistic) model. Our only assumption is what we call a "proximity condition": the projection of any data point onto the line joining its cluster center to any other cluster center is $Ω(k)$ standard deviations closer to its own center than the other center. Here the notion of standard deviations is based on the spectral norm of the matrix whose rows represent the difference between a point and the mean of the cluster to which it belongs. We show that in the generative models studied, our proximity condition is satisfied and so we are able to derive most known results for generative models as corollaries of our main result. We also prove some new results for generative models - e.g., we can cluster all but a small fraction of points only assuming a bound on the variance. Our algorithm relies on the well known $k$-means algorithm, and along the way, we prove a result of independent interest -- that the $k$-means algorithm converges to the "true centers" even in the presence of spurious points provided the initial (estimated) centers are close enough to the corresponding actual centers and all but a small fraction of the points satisfy the proximity condition. Finally, we present a new technique for boosting the ratio of inter-center separation to standard deviation.

研究动机与目标

• 开发一种无需假设数据生成概率模型的聚类算法。
• 识别一个最小的、确定性的条件——'邻近条件'——在此条件下k均值可收敛到真实聚类中心。
• 通过放宽分离要求，推广现有针对高斯分布和幂律分布混合模型的结果。
• 证明当初始中心足够接近且绝大多数点满足邻近条件时，k均值在存在虚假点的情况下仍能收敛到真实中心。
• 引入一种增强技术，提升中心间分离度与标准差的比值，从而允许更弱的分离假设。

提出的方法

• 定义矩阵 $ A - C $ 的谱范数，其中 $ A $ 为数据矩阵，$ C $ 为中心矩阵，用于估计邻近条件中的标准差。
• 提出'邻近条件'：对于任意点，其在连接其真实中心与任一其他中心的直线上的投影，比其他中心近 $ Ω(k) $ 倍于基于谱范数的标准差。
• 在初始中心足够接近真实中心的前提下应用k均值算法，并证明当除 $ ε $ 比例的点外，其余所有点均满足邻近条件时，算法可收敛到真实中心。
• 利用几何论证（定理5.4）表明，k均值算法中被错误分类的点必须远离真实中心，从而限制其数量。
• 开发一种增强技术，以提升分离度与噪声的比值，使混合模型中可容忍更弱的分离条件。
• 将该框架应用于高斯分布和幂律分布，表明已知结果可作为推论，且在不假设尾部行为的前提下，基于方差有界条件仍可获得新结果。

实验结果

研究问题

• RQ1 在确定性、非生成性条件下，能否保证k均值聚类收敛到真实中心？
• RQ2 在不假设特定概率模型的前提下，确保正确聚类所需的最小编结构条件是什么？
• RQ3 在仍能收敛到真实中心的前提下，如何容忍k均值聚类中的虚假点？
• RQ4 能否通过一种新颖的增强技术，弱化混合模型中聚类中心间的分离要求？
• RQ5 现有针对高斯分布和幂律分布混合模型的结果，在多大程度上可作为统一、通用的邻近条件的推论？

主要发现

• 若初始中心足够接近且除 $ ε $ 比例外的所有点均满足邻近条件，则k均值算法可收敛到真实聚类中心。
• 邻近条件在已知生成模型中成立，包括高斯分布和幂律分布，使先前结果成为主定理的推论。
• 对于高斯混合模型，当满足分离条件 $ |\mu_r - \mu_s| \geq \Omega(\sigma k \cdot \log(d / w_{\text{min}})) $ 时，该方法可正确分类 $ n = \text{poly}(d / w_{\text{min}}) $ 个样本。
• 对于满足 $ P[|(X - \mu_r) \cdot v| > \sigma t] \leq 1/t^\gamma $ 的幂律分布，当分离条件涉及 $ \log(d / w_{\text{min}}) + \varepsilon^{-1/\gamma} $ 时，该方法可聚类至少 $ 1 - \varepsilon $ 比例的点。
• 证明了基于谱范数的标准差 $ \|A - C\| / \sqrt{n} $ 在高斯和幂律模型中均为 $ O(\sigma \sqrt{d} \cdot \text{polylog}(n)) $。
• 提出一种增强技术，通过提升邻近条件中的信噪比，使该方法能够处理更弱的分离条件。