[论文解读] Optimality of Spectral Clustering in the Gaussian Mixture Model

Matthias Löffler, Anderson Y. Zhang+1 more|arXiv (Cornell University)|Nov 1, 2019

Face and Expression Recognition被引用 4

一句话总结

本文在无需谱隙条件的前提下，建立了各向同性高斯混合模型中谱聚类的极小极大最优性。在簇大小、维度和信噪比的温和正则条件下，证明了谱聚类可实现最优误分群率，且该误差率随簇间距离平方呈指数衰减。

ABSTRACT

Spectral clustering is one of the most popular algorithms to group high dimensional data. It is easy to implement and computationally efficient. Despite its popularity and successful applications, its theoretical properties have not been fully understood. In this paper, we show that spectral clustering is minimax optimal in the Gaussian Mixture Model with isotropic covariance matrix, when the number of clusters is fixed and the signal-to-noise ratio is large enough. Spectral gap conditions are widely assumed in the literature to analyze spectral clustering. On the contrary, these conditions are not needed to establish optimality of spectral clustering in this paper.

研究动机与目标

• 在一般条件下，建立谱聚类在各向同性高斯混合模型（GMM）中的理论最优性。
• 弥合谱聚类在实践中成功与理论理解之间的差距。
• 消除先前理论分析中常用的谱隙假设的依赖。
• 推导出最优的误分群率，并证明谱聚类无需额外优化步骤即可达到该最优率。
• 将结果扩展至簇数随样本量增长及簇大小非均匀的场景。

提出的方法

• 分析应用于各向同性协方差和分离簇中心的GMM数据的谱聚类。
• 通过数据矩阵的谱分解将数据投影到主特征子空间，随后在低维表示上执行k-means聚类。
• 利用随机矩阵理论和谱扰动分析，对特征向量与特征值的估计误差进行上界控制。
• 使用卡方尾部界和Borell不等式，推导噪声分量的集中不等式。
• 应用联合界和马尔可夫不等式，控制所有数据点上的归一化汉明损失。
• 引入精心调优的调节参数（ρ, ρ′, ρ′′），以在误差分解中平衡偏差与方差。

实验结果

研究问题

• RQ1 在无谱隙假设下，谱聚类在各向同性GMM中是否为极小极大最优？
• RQ2 在一般条件下，各向同性GMM中可实现的最优误分群率是多少？
• RQ3 谱聚类是否能在无需Lloyd算法等额外优化步骤的情况下达到该最优率？
• RQ4 性能如何依赖于簇间距离∆、维度p和样本量n？
• RQ5 当簇数随n增长且簇大小不相等时，该最优性是否依然成立？

主要发现

• 谱聚类在各向同性GMM中实现了最优误分群率，误差率衰减为exp(−(1−o(1))∆²/8)。
• 该最优性无需依赖谱隙条件，而这类条件通常被先前的理论工作所假设。
• 即使簇数随n增长且簇大小不相等，该方法仍能实现最优性能。
• 误差率在∆²上呈指数级小，与该问题的极小极大下界一致。
• 分析表明，仅靠谱聚类本身即可实现最优恢复；无需热启动或迭代优化。
• 该结果在温和条件下成立：簇数固定或增长，p ≤ O(n)，且∆ → ∞。