[论文解读] Incremental Method for Spectral Clustering of Increasing Orders

Pin‐Yu Chen, Baichuan Zhang+2 more|arXiv (Cornell University)|Dec 23, 2015

Advanced Clustering Algorithms Research参考文献 27被引用 15

一句话总结

本文提出 Incremental-IO，一种高效的增量方法，通过将批量特征值问题转化为顺序的最小特征对计算，实现对图拉普拉斯矩阵连续特征对的高效计算。该方法在用户引导的谱聚类中实现了显著加速——相较于批量方法，速度最高可提升一个数量级，尤其在聚类数 K 增大时优势更明显。

ABSTRACT

The smallest eigenvalues and the associated eigenvectors (i.e., eigenpairs) of a graph Laplacian matrix have been widely used for spectral clustering and community detection. However, in real-life applications the number of clusters or communities (say, $K$) is generally unknown a-priori. Consequently, the majority of the existing methods either choose $K$ heuristically or they repeat the clustering method with different choices of $K$ and accept the best clustering result. The first option, more often, yields suboptimal result, while the second option is computationally expensive. In this work, we propose an incremental method for constructing the eigenspectrum of the graph Laplacian matrix. This method leverages the eigenstructure of graph Laplacian matrix to obtain the $K$-th eigenpairs of the Laplacian matrix given a collection of all the $K-1$ smallest eigenpairs. Our proposed method adapts the Laplacian matrix such that the batch eigenvalue decomposition problem transforms into an efficient sequential leading eigenpair computation problem. As a practical application, we consider user-guided spectral clustering. Specifically, we demonstrate that users can utilize the proposed incremental method for effective eigenpair computation and determining the desired number of clusters based on multiple clustering metrics.

研究动机与目标

• 解决在 K 未知先验的情况下，确定谱聚类中最优聚类数 K 的挑战。
• 降低为递增的 K 值重复计算 K 个最小特征向量的计算成本。
• 开发一种稳健的增量方法，避免设置一个固定上限 K_max，因为当 K_max 过高时，这将带来计算上的不可行性。
• 通过高效更新聚类指标和特征谱，实现实时、用户引导的谱聚类。
• 证明通过特征结构自适应实现的增量计算在速度和可扩展性方面优于批量方法和改进的 Lanczos 基增量方法。

提出的方法

• 利用图拉普拉斯矩阵的特征结构，从头 K 个最小特征对中增量式地计算第 (K+1) 个最小特征对。
• 通过基于先前计算出的特征向量构建移位并降秩的矩阵，将批量特征值分解转化为一系列顺序的主特征对计算。
• 在变换后的矩阵上使用幂迭代方法（如 Lanczos 或 Arnoldi）高效计算下一个最小特征对。
• 通过利用图拉普拉斯矩阵的特殊性质（包括对称性和半正定性）来保持数值稳定性和准确性。
• 将增量特征求解器集成到用户引导的谱聚类框架中，实现在每个 K 值下对聚类指标（模块度、归一化割、聚类大小、谱能量）的增量更新。
• 实现算法 1 以支持交互式聚类，使用户能够基于多个指标选择 K，而无需从头开始重新计算。

实验结果

研究问题

• RQ1 是否可以通过利用先前的特征谱，使图拉普拉斯矩阵连续特征对的计算更加高效？
• RQ2 将批量特征值问题转化为一系列主特征对问题，是否能在实际中带来显著的速度提升？
• RQ3 能否设计一种既稳健又可扩展的增量特征求解器，尤其是在 K 增大时？
• RQ4 所提出的增量方法在性能和准确性方面与批量计算和改进的 Lanczos 基增量方法相比如何？
• RQ5 增量特征对计算在多大程度上能够支持交互式、用户引导的谱聚类，并实现动态 K 选择？

主要发现

• 随着聚类数 K 的增加，Incremental-IO 相较于批量计算方法最高可实现一个数量级的速度提升。
• 随着图规模增大，Incremental-IO 与批量方法之间的计算差距呈指数级增长，显示出卓越的可扩展性。
• 该方法保持了高精度，通过增量计算得到的特征对与批量结果高度一致，这一结论在 Minnesota Road 数据集上得到验证。
• 使用 Incremental-IO 的用户引导谱聚类可高效探索多个 K 值，聚类指标（模块度、归一化割、聚类大小、谱能量）实现增量更新。
• 在 Minnesota Road 数据集中，K=7 被识别为一个稳定选择，此时模块度趋于饱和且谱能量明显增加，表明聚类具有良好的可分性。
• 在 Power Grid、CLUTO、Swiss Roll、Youtube 和 BlogCatalog 数据集上的实验表明，Incremental-IO 在多样化的现实世界图数据上均能支持高效、交互式的聚类，且聚类指标趋势各异。