[論文レビュー] Community detection thresholds and the weak Ramanujan property

Laurent Massoulié|HAL (Le Centre pour la Communication Scientifique Directe)|Nov 13, 2013

Complex Network Analysis Techniques参考文献 4被引用数 15

ひとこと要約

この論文は、自己回避経路長 $\ell$ を数える修正された隣接行列 $B$ を導入することで、スパースなストークスティック・ブロック・モデルにおけるコミュニティ検出の閾値に関する長年の予想を解決した。$B$ に対して弱いラマヌジャン性を証明することで、その主要固有ベクトルが、予想された閾値まで非自明なコミュニティ再構築を可能にすることを示し、スパースグラフにおけるコミュニティ検出の正の相転移を確立した。

ABSTRACT

Decelle et al.\cite{Decelle11} conjectured the existence of a sharp threshold for community detection in sparse random graphs drawn from the stochastic block model. Mossel et al.\cite{Mossel12} established the negative part of the conjecture, proving impossibility of meaningful detection below the threshold. However the positive part of the conjecture remained elusive so far. Here we solve the positive part of the conjecture. We introduce a modified adjacency matrix $B$ that counts self-avoiding paths of a given length $\ell$ between pairs of nodes and prove that for logarithmic $\ell$, the leading eigenvectors of this modified matrix provide non-trivial detection, thereby settling the conjecture. A key step in the proof consists in establishing a {\em weak Ramanujan property} of matrix $B$. Namely, the spectrum of $B$ consists in two leading eigenvalues $ρ(B)$, $λ_2$ and $n-2$ eigenvalues of a lower order $O(n^ε\sqrt{ρ(B)})$ for all $ε>0$, $ρ(B)$ denoting $B$'s spectral radius. $d$-regular graphs are Ramanujan when their second eigenvalue verifies $|λ|\le 2 \sqrt{d-1}$. Random $d$-regular graphs have a second largest eigenvalue $λ$ of $2\sqrt{d-1}+o(1)$ (see Friedman\cite{friedman08}), thus being {\em almost} Ramanujan. Erdős-Rényi graphs with average degree $d$ at least logarithmic ($d=Ω(\log n)$) have a second eigenvalue of $O(\sqrt{d})$ (see Feige and Ofek\cite{Feige05}), a slightly weaker version of the Ramanujan property. However this spectrum separation property fails for sparse ($d=O(1)$) Erdős-Rényi graphs. Our result thus shows that by constructing matrix $B$ through neighborhood expansion, we regularize the original adjacency matrix to eventually recover a weak form of the Ramanujan property.

研究の動機と目的

• スパースなストークスティック・ブロック・モデルにおけるコミュニティ検出の鋭い閾値に関する Decelle らの予想の正の側を解決すること。
• スパースな Erdős-Rényi グラフにおけるスペクトル法の失敗（高次数ノードによるスペクトル汚染）を克服すること。
• ノード拡張を用いて構築された新しい行列 $B$ に対して弱いラマヌジャン性を確立することで、スペクトル分離を回復すること。
• 行列 $B$ の主要固有ベクトルが、予想された閾値まで隠れたコミュニティを非自明に再構築できることを示すこと。
• 情報理論的限界まで正の相関を達成するスペクトル法を提供すること。

提案手法

• ノード対間の自己回避経路長 $\ell$ の数を数える修正された隣接行列 $B^{(\ell)}$ を構築する。
• 十分な拡張と経路の重複の制御を保証するため、$\ell = \Theta(\log n)$ の対数的経路長を用いる。
• 行列 $B$ が弱いラマヌジャン性を満たすことを証明する：スペクトル半径 $\rho(B)$、2番目の固有値 $\lambda_2$、および残りの $n-2$ 個の固有値が、任意の $\epsilon > 0$ に対して $O(n^{\epsilon}\sqrt{\rho(B)})$ で有界である。
• 行列 $B$ の主要固有ベクトルにスペクトルクラスタリングを適用してコミュニティラベルを再構築する。
• 経路数の2次のモーメントを制御し、フラクチュエーションを制御するために、分枝過程と木構造モデルを用いたカップリング論法を用いる。
• 定理2.3および補題4.6/4.1からの濃縮不等式と境界を用いて、$B^{(\ell)}\sigma$ と $B^{(\ell)}e$ の挙動を制御する。

実験結果

リサーチクエスチョン

• RQ1 スパースなストークスティック・ブロック・モデルにおいて、予想された閾値まで非自明なコミュニティ検出を達成するスペクトル法が存在するか？
• RQ2 スパースな Erdős-Rényi グラフにおける高次数ノードによるスペクトル汚染は、スペクトル分離を回復するために正規化可能か？
• RQ3 スパースな状態で弱いラマヌジャン性を満たす行列構築法が存在するか？ これにより、頑健なコミュニティ検出が可能になるか？
• RQ4 元の隣接行列が失敗する状況でも、経路数行列 $B$ の主要固有ベクトルが、元のコミュニティ構造を反映できるか？
• RQ5 対数的 $\ell$ における $B^{(\ell)}$ のスペクトルの漸近的挙動は何か？ そして、それはコミュニティ検出の閾値とどのように関係するか？

主な発見

• 自己回避経路長 $\ell = \Theta(\log n}$ を数える修正行列 $B^{(\ell)}$ は、任意の $\epsilon > 0$ に対して $n-2$ 個の固有値が $O(n^{\epsilon}\sqrt{\rho(B)})$ で有界である弱いラマヌジャン性を満たす。
• 行列 $B^{(\ell)}$ の主要固有ベクトルは、真のコミュニティラベルと非自明な相関を示し、Decelle らの予想の正の側が確認された。
• スペクトル半径 $\rho(B)$ と2番目の固有値 $\lambda_2$ は、スペクトルのバルクから分離されており、頑健なコミュニティ検出を可能にする。
• この手法により、予想された閾値まで再構築が達成され、コミュニティ検出における長年の未解決問題が解決された。
• 解析により、$|B^{(\ell)}\sigma| = \tilde{O}(\sqrt{n}\beta^{\ell})$ および $|B^{(\ell)}e| = \Theta(\sqrt{n}\alpha^{\ell})$（$\alpha > \beta > 0$）であることが示され、信号強度が保証された。
• スカラー積 $\langle S_{\ell}(i), D_{\ell}(i) \rangle$ は $o(|S_{\ell}(i)| \cdot |D_{\ell}(i)|)$ であり、固有ベクトル内での信号と構造の整合性が確認された。