[论文解读] Sparse random graphs: regularization and concentration of the Laplacian

Can M. Le, Elizaveta Levina+1 more|arXiv (Cornell University)|Feb 10, 2015

Complex Network Analysis Techniques参考文献 40被引用 37

一句话总结

本文通过格罗滕迪克不等式和铺砌论证，在期望度有界的稀疏随机图中建立了正则化拉普拉斯矩阵的浓度结果。证明了在邻接矩阵中加入 $1/n$ 正则化项可确保拉普拉斯矩阵围绕其期望集中，从而为稀疏情形下随机块模型中的正则化谱聚类提供了严格的理论验证。

ABSTRACT

We study random graphs with possibly different edge probabilities in the challenging sparse regime of bounded expected degrees. Unlike in the dense case, neither the graph adjacency matrix nor its Laplacian concentrate around their expectations due to the highly irregular distribution of node degrees. It has been empirically observed that simply adding a constant of order $1/n$ to each entry of the adjacency matrix substantially improves the behavior of Laplacian. Here we prove that this regularization indeed forces Laplacian to concentrate even in sparse graphs. As an immediate consequence in network analysis, we establish the validity of one of the simplest and fastest approaches to community detection -- regularized spectral clustering, under the stochastic block model. Our proof of concentration of regularized Laplacian is based on Grothendieck's inequality and factorization, combined with paving arguments.

研究动机与目标

• 解决在期望度有界的稀疏随机图中拉普拉斯矩阵缺乏浓度结果的问题。
• 解决标准拉普拉斯矩阵因节点度数方差过高而无法集中的问题。
• 严格证明在邻接矩阵每个元素上加 $1/n$ 的正则化做法的合理性。
• 为稀疏网络中正则化谱聚类在社区检测中的理论有效性提供依据。
• 将浓度结果推广至非齐次 Erdős-Rényi 模型和随机块模型。

提出的方法

• 利用格罗滕迪克不等式控制正则化拉普拉斯矩阵与其期望偏差的算子范数。
• 采用核心-残差分解：将图划分为高阶度节点的核心集和低阶度节点的残差集。
• 运用铺砌论证控制拉普拉斯矩阵在核心和残差部分的谱范数。
• 引入正则化 $A_{\tau} = A + \tau \mathbf{1}\mathbf{1}^T$，其中 $\tau = 1/n$，以稳定度分布并改善浓度性能。
• 结合矩阵浓度不等式与度数浓度界，控制整个拉普拉斯矩阵偏差。
• 利用 Davis-Kahan 定理将谱范数控制与特征向量扰动关联，进而分析社区检测的准确性。

实验结果

研究问题

• RQ1 在期望度有界的稀疏随机图中，拉普拉斯矩阵是否围绕其期望集中？
• RQ2 对邻接矩阵进行正则化是否能恢复稀疏图中拉普拉斯矩阵的浓度？
• RQ3 正则化谱聚类在稀疏随机块模型中是否能实现一致的社区检测？
• RQ4 为确保稀疏设置下拉普拉斯矩阵的浓度，最优正则化水平是什么？
• RQ5 正则化拉普拉斯矩阵的谱性质如何与稀疏网络中的社区结构相关联？

主要发现

• 正则化拉普拉斯矩阵 $L(A_\tau)$ 以高概率集中在 $L(\bar{A}_\tau)$ 附近，满足 $\|L(A_\tau) - L(\bar{A}_\tau)\| \leq C r \log^3 d / \sqrt{d}$，其中期望度 $d$ 有界。
• 正则化项 $\tau = 1/n$ 稳定了度分布，即使在 $d$ 有界时也能实现浓度，解决了标准拉普拉斯矩阵在稀疏图中失效的关键问题。
• 对于边概率为 $a/n$ 和 $b/n$ 的随机块模型，当 $a-b$ 相对于 $\sqrt{a}$ 足够大时，正则化谱聚类的社区恢复误差 $\leq \varepsilon$。
• 正则化拉普拉斯矩阵的谱间隙以高概率远离零，确保了良好的连通性和可检测性。
• 在适当的 $a$、$b$ 和 $n$ 条件下，正则化拉普拉斯矩阵的特征向量以高概率与真实社区分配向量的误差在 $\varepsilon$ 以内。
• 证明依赖于格罗滕迪克不等式、铺砌技术与核心-残差分解的创新性结合，以控制稀疏设置下的算子范数。