[论文解读] Community detection thresholds and the weak Ramanujan property

Laurent Massoulié|HAL (Le Centre pour la Communication Scientifique Directe)|Nov 13, 2013

Complex Network Analysis Techniques参考文献 4被引用 15

一句话总结

该论文通过引入一种计数长度为 $\ell$ 的自避免路径的修改邻接矩阵 $B$，解决了稀疏随机块模型中社区检测阈值的长期猜想。通过证明 $B$ 的弱 Ramanujan 性质，作者表明其主特征向量可实现对社区结构的非平凡重构，直至猜想的阈值，从而确立了稀疏图中社区检测的正相变。

ABSTRACT

Decelle et al.\cite{Decelle11} conjectured the existence of a sharp threshold for community detection in sparse random graphs drawn from the stochastic block model. Mossel et al.\cite{Mossel12} established the negative part of the conjecture, proving impossibility of meaningful detection below the threshold. However the positive part of the conjecture remained elusive so far. Here we solve the positive part of the conjecture. We introduce a modified adjacency matrix $B$ that counts self-avoiding paths of a given length $\ell$ between pairs of nodes and prove that for logarithmic $\ell$, the leading eigenvectors of this modified matrix provide non-trivial detection, thereby settling the conjecture. A key step in the proof consists in establishing a {\em weak Ramanujan property} of matrix $B$. Namely, the spectrum of $B$ consists in two leading eigenvalues $ρ(B)$, $λ_2$ and $n-2$ eigenvalues of a lower order $O(n^ε\sqrt{ρ(B)})$ for all $ε>0$, $ρ(B)$ denoting $B$'s spectral radius. $d$-regular graphs are Ramanujan when their second eigenvalue verifies $|λ|\le 2 \sqrt{d-1}$. Random $d$-regular graphs have a second largest eigenvalue $λ$ of $2\sqrt{d-1}+o(1)$ (see Friedman\cite{friedman08}), thus being {\em almost} Ramanujan. Erdős-Rényi graphs with average degree $d$ at least logarithmic ($d=Ω(\log n)$) have a second eigenvalue of $O(\sqrt{d})$ (see Feige and Ofek\cite{Feige05}), a slightly weaker version of the Ramanujan property. However this spectrum separation property fails for sparse ($d=O(1)$) Erdős-Rényi graphs. Our result thus shows that by constructing matrix $B$ through neighborhood expansion, we regularize the original adjacency matrix to eventually recover a weak form of the Ramanujan property.

研究动机与目标

• 解决 Decelle 等人关于稀疏随机块模型中社区检测存在锐阈值的猜想的正向部分。
• 克服谱方法在稀疏 Erdős-Rényi 图中因高学位节点导致的谱污染而失效的问题。
• 为一种通过邻域扩展构造的新矩阵 $B$ 建立弱 Ramanujan 性质，以恢复谱分离。
• 证明 $B$ 的主特征向量可实现对隐藏社区的非平凡重构，直至猜想的阈值。
• 提供一种谱方法，使其与真实社区标签的相关性在信息论极限范围内保持正相关。

提出的方法

• 构造一个修改后的邻接矩阵 $B^{(\ell)}$，用于统计节点对之间长度为 $\ell$ 的自避免路径数量。
• 采用对数路径长度 $\ell = \Theta(\log n)$，以确保充分的展开并控制路径重叠。
• 证明 $B$ 满足弱 Ramanujan 性质：谱半径 $\rho(B)$、第二特征值 $\lambda_2$，以及其余 $n-2$ 个特征值均被有界于 $O(n^{\epsilon}\sqrt{\rho(B)})$，其中 $\epsilon > 0$ 任意。
• 对 $B$ 的主特征向量应用谱聚类以重构社区标签。
• 利用与分支过程和树模型的耦合论证，分析路径计数的二阶矩并控制波动。
• 利用集中不等式以及定理 2.3 和引理 4.6/4.1 的界，控制 $B^{(\ell)}\sigma$ 和 $B^{(\ell)}e$ 的行为。

实验结果

研究问题

• RQ1 是否存在一种谱方法，可在稀疏随机块模型中实现对猜想阈值以下的非平凡社区检测？
• RQ2 能否对稀疏 Erdős-Rényi 图中高学位节点引起的谱污染进行正则化，以恢复谱分离？
• RQ3 是否存在一种矩阵构造方式，在稀疏区域内满足弱 Ramanujan 性质，从而实现鲁棒的社区检测？
• RQ4 当原始邻接矩阵失效时，路径计数矩阵 $B$ 的主特征向量是否仍能反映底层社区结构？
• RQ5 对于对数长度 $\ell$，$B^{(\ell)}$ 的谱渐近行为如何？其与社区检测阈值有何关联？

主要发现

• 修改后的矩阵 $B^{(\ell)}$（统计长度为 $\ell = \Theta(\log n)$ 的自避免路径）满足弱 Ramanujan 性质，其中 $n-2$ 个特征值被有界于 $O(n^{\epsilon}\sqrt{\rho(B)})$，对所有 $\epsilon > 0$ 成立。
• $B^{(\ell)}$ 的主特征向量与真实社区标签实现了非平凡相关性，证实了 Decelle 等人猜想的正向部分。
• 谱半径 $\rho(B)$ 与第二特征值 $\lambda_2$ 与谱的主体部分分离，从而实现了鲁棒的社区检测。
• 该方法可实现对猜想阈值以下的社区重构，解决了社区检测领域长期存在的开放问题。
• 分析表明 $|B^{(\ell)}\sigma| = \tilde{O}(\sqrt{n}\beta^{\ell})$ 且 $|B^{(\ell)}e| = \Theta(\sqrt{n}\alpha^{\ell})$，其中 $\alpha > \beta > 0$，确保了信号强度。
• 标量积 $\langle S_{\ell}(i), D_{\ell}(i) \rangle$ 为 $o(|S_{\ell}(i)| \cdot |D_{\ell}(i)|)$，证实了特征向量中信号与结构的一致性。