[论文解读] Estimating the number of communities in networks by spectral methods

Can M. Le, Elizaveta Levina|arXiv (Cornell University)|Jul 3, 2015

Complex Network Analysis Techniques参考文献 41被引用 47

一句话总结

本文提出了一种快速且一致的方法，通过贝蒂数（Bethe Hessian）和非回溯矩阵的谱性质来估计网络中的社区数量。该方法利用信息性特征值与谱块（bulk spectrum）之间的分离来估计社区数量，在各种网络模型和稀疏性范围内，其准确性和计算效率均优于现有方法。

ABSTRACT

Community detection is a fundamental problem in network analysis with many methods available to estimate communities. Most of these methods assume that the number of communities is known, which is often not the case in practice. We study a simple and very fast method for estimating the number of communities based on the spectral properties of certain graph operators, such as the non-backtracking matrix and the Bethe Hessian matrix. We show that the method performs well under several models and a wide range of parameters, and is guaranteed to be consistent under several asymptotic regimes. We compare this method to several existing methods for estimating the number of communities and show that it is both more accurate and more computationally efficient.

研究动机与目标

• 解决网络分析中常见的挑战：社区数量未知，但大多数社区检测算法均需预先知道该值。
• 开发一种计算高效的替代方法，以替代对大规模网络而言过于缓慢的似然法或交叉验证方法。
• 在多种网络模型（包括随机块模型及其度数校正变体）下，提供一个理论基础坚实、一致的社区数量估计器。
• 证明贝蒂数和非回溯矩阵的谱特性可通过特征值分离可靠地估计社区数量。
• 在准确性和速度方面均优于现有方法，尤其在稀疏和高维设置下表现更优。

提出的方法

• 使用贝蒂数矩阵 $ H(r) = (r^2 - 1)I - r(A - bE A) + D - rar{A} $，其中 $ r $ 为调优参数，$ A $ 为邻接矩阵，$ D $ 为度数矩阵，$ \bar{A} $ 为期望邻接矩阵。
• 应用谱分析，识别位于谱块之外的特征值数量，这些特征值对应于社区结构，被称为“信息性”特征值。
• 利用非回溯矩阵通过特征值分离检测社区结构，尤其在稀疏网络中表现优异。
• 基于 Courant 最小-最大原理和随机矩阵理论，在各种渐近情形下建立估计器的理论一致性。
• 通过仅计算稀疏矩阵的少数几个最大特征值，确保计算效率，避免昂贵的 MCMC 或变分推断。
• 利用 Bernstein 不等式和矩阵集中不等式建立特征值行为的理论界，证明在高概率下 $ H(r) $ 的 $ K $ 个特征值为负，其余 $ n-K $ 个为非负。

实验结果

研究问题

• RQ1 能否仅通过贝蒂数或非回溯矩阵的谱性质，一致地估计网络中的社区数量？
• RQ2 所提出的谱方法在准确性和计算成本方面，与 BIC、交叉验证或基于自助法的现有方法相比如何？
• RQ3 在何种网络模型和参数范围（如稀疏、密集、聚类、非聚类）下，该方法具有一致性和可靠性？
• RQ4 该方法是否可推广至随机块模型之外，例如在度数校正随机块模型中？
• RQ5 在这些矩阵中，观察到的信息性特征值与谱块特征值之间分离的理论依据是什么？

主要发现

• 贝蒂数和非回溯矩阵的信息性特征值数量可直接且高精度地估计社区数量 $ K $，适用于多种网络模型。
• 该方法计算高效，仅需计算稀疏矩阵的少数几个最大特征值，是目前计算 $ K $ 估计最快的方法。
• 在各种渐近情形下，包括稀疏和密集网络，以及聚类与非聚类结构中，估计器均具理论一致性。
• 在准确性和速度方面，该方法优于基于似然的 BIC、交叉验证和基于自助法的方法，尤其在大规模网络中表现更优。
• 理论分析表明，在高概率下，贝蒂数矩阵 $ H(r) $ 的 $ K $ 个特征值为负，其余 $ n-K $ 个为非负，提供了清晰的谱分离。
• 该方法对模型误设具有鲁棒性，在网络中存在中心节点或度数异质性时仍表现良好，如在 DCSBM 框架下所示。