[论文解读] Consistency of Spectral Clustering in Sparse Stochastic Block Models

Jing Lei, Alessandro Rinaldo|arXiv (Cornell University)|Dec 7, 2013

Complex Network Analysis Techniques被引用 13

一句话总结

本文在稀疏随机块模型中建立了谱聚类的一致性，表明即使最大期望度数按 log n 增长，社区恢复仍是可实现的。通过使用对二值随机矩阵的精细谱界，证明了多项式时间的谱聚类和球面 k-中位数方法可在标准模型和度数校正模型中一致地恢复社区。

ABSTRACT

We analyze the performance of spectral clustering for community extraction in stochastic block models. We show that, under mild conditions, spectral clustering applied to the adjacency matrix of the network can consistently recover hidden communities even when the order of the maximum expected degree is as small as $\log n$, with $n$ the number of nodes. This result applies to some popular polynomial time spectral clustering algorithms and is further extended to degree corrected stochastic block models using a spherical $k$-median spectral clustering method. A key component of our analysis is a combinatorial bound on the spectrum of binary random matrices, which is sharper than the conventional matrix Bernstein inequality and may be of independent interest.

研究动机与目标

• 建立谱聚类在稀疏随机块模型中一致恢复隐藏社区的条件。
• 通过球面 k-中位数谱聚类方法，将一致性结果扩展到度数校正的随机块模型。
• 发展对二值随机矩阵谱的更紧致的组合界，优于经典的矩阵伯恩斯坦不等式。
• 证明即使最大期望度数随网络规模 n 对数增长，一致的社区检测仍是可能的。
• 为实际谱聚类算法在稀疏网络环境下的性能提供理论依据。

提出的方法

• 分析在随机块模型下生成的网络邻接矩阵上的谱聚类。
• 提出一种对二值随机矩阵谱的新组合界，其紧致性优于矩阵伯恩斯坦不等式。
• 将谱界应用于证明在最大期望度数为 Θ(log n) 的稀疏随机块模型中，标准谱聚类的一致性。
• 通过采用球面 k-中位数谱聚类方法，将分析扩展到度数校正的随机块模型。
• 使用集中不等式和谱隙分析，控制经验谱投影与总体投影之间的偏差。
• 通过证明邻接矩阵的主导特征向量在弱条件下收敛于真实的社区结构，建立一致性。

实验结果

研究问题

• RQ1 当网络稀疏且最大期望度数按 log n 增长时，谱聚类能否在随机块模型中一致地恢复社区？
• RQ2 谱聚类的性能在稀疏随机网络中如何依赖于邻接矩阵的谱特性？
• RQ3 在相似的稀疏条件下，谱聚类的一致性是否可扩展到度数校正的随机块模型？
• RQ4 能实现社区检测一致性的二值随机矩阵特征值的最紧可能谱界是什么？
• RQ5 是否存在一种方法（如球面 k-中位数聚类），可在标准谱聚类可能失效的度数校正模型中保持一致性？

主要发现

• 当最大期望度数为 Θ(log n) 时，对邻接矩阵应用谱聚类可一致地恢复随机块模型中的隐藏社区。
• 建立了对二值随机矩阵谱的新组合界，其紧致性优于矩阵伯恩斯坦不等式，从而实现了更紧密的集中控制。
• 该一致性结果适用于在稀疏区域中运行时间多项式增长的标准谱聚类算法。
• 球面 k-中位数谱聚类方法在相同稀疏条件下，可确保在度数校正随机块模型中实现一致的社区检测。
• 理论分析表明，随着 n 增大，邻接矩阵的主导特征向量以高概率收敛至真实的社区结构。
• 所导出的谱界本身具有独立兴趣，可能在其他随机矩阵理论和网络分析问题中得到应用。