[论文解读] A simpler spectral approach for clustering in directed networks

Simon Coste, Ludovic Stephan|arXiv (Cornell University)|Feb 5, 2021

Complex Network Analysis Techniques参考文献 28被引用 4

一句话总结

本文提出一种针对有向网络的简化谱聚类方法，通过直接使用未正则化的邻接矩阵的特征值和特征向量，绕过SVD和对称化处理。该方法基于针对稀疏非对称矩阵的主定理建立了理论保证，并在稀疏场景下表现出优越性能，其中基于特征向量嵌入的高斯混合聚类优于k-means聚类。

ABSTRACT

We study the task of clustering in directed networks. We show that using the eigenvalue/eigenvector decomposition of the adjacency matrix is simpler than all common methods which are based on a combination of data regularization and SVD truncation, and works well down to the very sparse regime where the edge density has constant order. Our analysis is based on a Master Theorem describing sharp asymptotics for isolated eigenvalues/eigenvectors of sparse, non-symmetric matrices with independent entries. We also describe the limiting distribution of the entries of these eigenvectors; in the task of digraph clustering with spectral embeddings, we provide numerical evidence for the superiority of Gaussian Mixture clustering over the widely used k-means algorithm.

研究动机与目标

• 挑战传统观念，即有向网络聚类必须经过对称化或SVD处理，证明邻接矩阵的特征分解已足够。
• 基于孤立特征值和特征向量的主定理，为稀疏非对称有向网络中的特征分解提供严格的理论基础。
• 通过实证表明，基于特征向量嵌入的高斯混合聚类在有向网络聚类中优于k-means聚类。
• 将谱聚类理论从对称和稠密网络扩展到具有异质边概率的稀疏有向网络场景。

提出的方法

• 提出直接对有向邻接矩阵进行特征分解作为谱嵌入步骤，避免正则化或对称化处理。
• 提出主定理，用于描述具有独立项的稀疏非对称随机矩阵中孤立特征值和特征向量的精确渐近行为。
• 使用分支过程近似（Galton-Watson树）来建模局部邻域结构，并推导特征向量分量的极限分布。
• 应用Doob的鞅收敛定理和Slutsky引理，证明伪特征向量在树模型上收敛到极限随机变量。
• 利用集中不等式和弱收敛的Portmanteau引理，将树模型中的收敛性推广到有限图。
• 采用归一化特征向量，并证明其经验分布弱收敛到具有显式均值和方差的非退化极限分布。

实验结果

研究问题

• RQ1 在有向网络聚类中，未正则化邻接矩阵的特征分解是否能优于基于SVD或对称化的方法？
• RQ2 在稀疏非对称有向网络中，特征向量分量的极限分布是什么？
• RQ3 在稀疏场景下，基于邻接矩阵特征分解的谱聚类与基于SVD的方法相比性能如何？
• RQ4 当应用于有向网络的特征向量嵌入时，高斯混合聚类是否比k-means提供更高的聚类准确率？

主要发现

• 即使在边密度恒定的极稀疏场景下，邻接矩阵的特征分解仍能产生一致且准确的聚类结果。
• 特征向量分量的极限分布弱收敛到一个具有显式均值和方差的非退化随机变量，其由线性方程组推导得出。
• 在合成有向网络上，基于特征向量嵌入的高斯混合聚类在聚类准确率方面始终优于k-means聚类。
• 理论分析证实，特征向量分量集中在其极限分布附近，且在L²范数和分布意义下均收敛。
• 该方法避免了数据正则化或对称化的需求，简化了处理流程，同时保持或提升了性能。