[论文解读] A Tutorial on Spectral Clustering

Ulrike von Luxburg|ArXiv.org|Nov 1, 2007

Complex Network Analysis Techniques参考文献 59被引用 182

一句话总结

本教程对谱聚类提供了全面且自包含的介绍，通过图拉普拉斯矩阵、相似性图以及多种直观视角（图分割、随机游走、扰动理论）阐明其理论基础。它表明，谱聚类通过利用图拉普拉斯矩阵的特征向量，能够有效识别复杂且非凸的聚类结构，通常优于 k-means 等传统方法。

ABSTRACT

In recent years, spectral clustering has become one of the most popular modern clustering algorithms. It is simple to implement, can be solved efficiently by standard linear algebra software, and very often outperforms traditional clustering algorithms such as the k-means algorithm. On the first glance spectral clustering appears slightly mysterious, and it is not obvious to see why it works at all and what it really does. The goal of this tutorial is to give some intuition on those questions. We describe different graph Laplacians and their basic properties, present the most common spectral clustering algorithms, and derive those algorithms from scratch by several different approaches. Advantages and disadvantages of the different spectral clustering algorithms are discussed.

研究动机与目标

• 提供对谱聚类为何有效的清晰且直观的理解，解决其尽管具有强大经验性能却常被视为神秘的问题。
• 通过图论和线性代数系统化地梳理谱聚类的数学基础，使其对不具备高级背景的研究人员也易于理解。
• 比较和对比不同的谱聚类算法及其基本假设，突出其优势与局限性。
• 解释图拉普拉斯矩阵在编码平滑性和聚类假设中的作用，将离散图结构与连续算子联系起来。
• 通过讨论参数敏感性、图构建和算法实现，指导研究人员在实践中应用谱聚类。

提出的方法

• 使用成对相似性或距离从数据点构建相似性图，边的权重由相似性分数决定。
• 分别定义未归一化、随机游走和对称图拉普拉斯矩阵为 $ L = D - W $，$ L_{\text{rw}} = D^{-1}L $，和 $ L_{\text{sym}} = D^{-1/2}LD^{-1/2} $。
• 使用图拉普拉斯矩阵对应最小特征值的特征向量，将数据嵌入低维空间。
• 对嵌入后的数据点应用标准聚类方法（例如 k-means）以获得最终聚类结果。
• 通过多种理论视角解释谱聚类：图分割（最小化归一化割）、随机游走（平均 hitting 时间）和扰动理论（聚类分离）。
• 在较弱的分布假设下，将图拉普拉斯矩阵与连续的拉普拉斯-贝尔特里米算子联系起来，从而证明该方法的鲁棒性和有效性。

实验结果

研究问题

• RQ1 为何谱聚类在非凸或复杂聚类结构的数据上优于 k-means 等传统算法？
• RQ2 不同的图拉普拉斯矩阵（未归一化、随机游走、对称）之间有何关系，又如何影响聚类结果？
• RQ3 为何使用图拉普拉斯矩阵的特征向量进行聚类具有理论依据，这些特征向量如何编码聚类结构？
• RQ4 相似性图的选择（例如 ε-邻域、k-近邻）如何影响谱聚类的稳定性和性能？
• RQ5 在何种意义上图拉普拉斯矩阵近似于连续微分算子，这如何支持该方法的理论有效性？

主要发现

• 在具有非凸或纠缠聚类结构的数据集（如螺旋形）上，谱聚类始终优于 k-means 及其他传统算法。
• 对称图拉普拉斯矩阵 $ L_{\text{sym}} $ 在聚类中特别有效，因为它能对度数差异进行归一化，提升数值稳定性。
• 对应于最小特征值的图拉普拉斯矩阵的特征向量，可提供一个低维嵌入空间，使聚类更加可分，从而实现有效的 k-means 聚类。
• 通过谱松弛最小化的归一化割准则，为图分割提供了合理的优化目标，平衡了聚类的紧凑性与分离性。
• 在温和的采样假设下，图拉普拉斯矩阵收敛于流形上的连续拉普拉斯-贝尔特里米算子，从而为该方法在流形学习和半监督设置中的应用提供了理论依据。
• 谱聚类并非黑箱方法；其性能对相似性图构建和参数选择敏感，需仔细调优才能获得最佳结果。