[论文解读] Compressive Spectral Clustering

Nicolas Tremblay, Gilles Puy+2 more|arXiv (Cornell University)|Feb 5, 2016

Complex Network Analysis Techniques参考文献 46被引用 58

一句话总结

本文提出压缩谱聚类（CSC），一种基于图信号处理以降低计算成本的谱聚类快速近似方法。通过在图上过滤随机信号并仅采样 O(k log k) 个节点，CSC 实现了数个数量级的速度提升，同时保持理论误差界，使得在高达 10^6 个节点的大规模图上实现高效聚类成为可能。

ABSTRACT

Spectral clustering has become a popular technique due to its high performance in many contexts. It comprises three main steps: create a similarity graph between N objects to cluster, compute the first k eigenvectors of its Laplacian matrix to define a feature vector for each object, and run k-means on these features to separate objects into k classes. Each of these three steps becomes computationally intensive for large N and/or k. We propose to speed up the last two steps based on recent results in the emerging field of graph signal processing: graph filtering of random signals, and random sampling of bandlimited graph signals. We prove that our method, with a gain in computation time that can reach several orders of magnitude, is in fact an approximation of spectral clustering, for which we are able to control the error. We test the performance of our method on artificial and real-world network data.

研究动机与目标

• 解决谱聚类在大规模图上计算瓶颈问题，特别是特征分解与 k-均值步骤的性能限制。
• 开发一种可扩展的谱聚类替代方法，在显著降低运行时间的同时保持高聚类准确率。
• 利用图信号处理的最新进展，无需显式计算即可近似特征向量。
• 通过带限信号采样理论仅采样少量节点，实现准确聚类。
• 为所提方法的近似误差提供理论保证。

提出的方法

• 在图拉普拉斯矩阵上对 O(log k) 个随机高斯信号进行图滤波，生成无需计算特征向量的近似谱特征向量。
• 应用带限图信号理论，仅从图中采样 O(k log k) 个节点，将 k-均值计算从 O(Nk²) 降低至 O(k² log²k)。
• 利用采样节点在压缩特征向量上进行 k-均值聚类。
• 基于图结构与带限信号特性，使用重构方法将聚类标签插值回全部 N 个节点。
• 通过压缩特征向量与真实谱嵌入之间偏差的理论界控制近似误差。
• 通过分析非理想图滤波与采样对聚类性能的影响，确保方法鲁棒性。

实验结果

研究问题

• RQ1 是否可以利用随机图滤波在不显式进行特征分解的情况下高效近似图拉普拉斯矩阵的前 k 个特征向量？
• RQ2 是否可能仅从大规模图中采样 O(k log k) 个节点，并通过在压缩特征上使用 k-均值算法恢复准确的聚类标签？
• RQ3 压缩聚类结果与精确谱聚类解之间的理论误差界是什么？
• RQ4 随着图大小 N 与聚类数 k 的增加，该方法的性能如何扩展？
• RQ5 尽管进行了显著的维度压缩，该方法是否仍能在合成网络与真实世界网络上保持高聚类准确率？

主要发现

• 所提出的压缩谱聚类（CSC）方法将 k-均值的计算复杂度从 O(Nk²) 降低至 O(k² log²k)，使规模扩展至 N = 10^6 个节点成为可能。
• 与标准谱聚类相比，该方法实现了数个数量级的速度提升，同时保持聚类准确率。
• 理论分析表明，近似误差是受控且有界的，误差大小取决于滤波响应与采样密度。
• 该方法在具有异质社区大小的合成随机块模型（SBM）与真实世界网络数据上均表现良好。
• 实验结果表明，该方法在采样大小 n、滤波数量 d 与信噪比 p 等不同参数下均表现稳定，恢复率一致。
• 该方法对非理想图滤波具有鲁棒性，在特征向量通过滤波近似而非精确特征分解时仍能保持性能。