[論文レビュー] Asymptotic Mutual Information for the Two-Groups Stochastic Block Model

Yash Deshpande, Emmanuel Abbé+1 more|arXiv (Cornell University)|Jul 30, 2015

Complex Network Analysis Techniques参考文献 55被引用数 40

ひとこと要約

本稿は、対称的二群ストースティックブロックモデルにおける漸近的単位頂点相互情報量を一文字式で特徴づけ、信号対雑音比の臨界値で段階的転移を示す。臨界値未満ではコミュニティ検出は確率的推測を超えて不可能であり、臨界値を超えると、独立した辺とは異なり、条件付きエントロピーが厳密に減少するため推定が可能になる。

ABSTRACT

We develop an information-theoretic view of the stochastic block model, a popular statistical model for the large-scale structure of complex networks. A graph $G$ from such a model is generated by first assigning vertex labels at random from a finite alphabet, and then connecting vertices with edge probabilities depending on the labels of the endpoints. In the case of the symmetric two-group model, we establish an explicit `single-letter' characterization of the per-vertex mutual information between the vertex labels and the graph. The explicit expression of the mutual information is intimately related to estimation-theoretic quantities, and --in particular-- reveals a phase transition at the critical point for community detection. Below the critical point the per-vertex mutual information is asymptotically the same as if edges were independent. Correspondingly, no algorithm can estimate the partition better than random guessing. Conversely, above the threshold, the per-vertex mutual information is strictly smaller than the independent-edges upper bound. In this regime there exists a procedure that estimates the vertex labels better than random guessing.

研究の動機と目的

• ストースティックブロックモデルにおける情報理論的枠組みを構築し、頂点ラベルと観測されたグラフ構造の間の漸近的単位頂点相互情報量に焦点を当てる。
• 大規模ネットワーク極限における単位頂点条件付きエントロピー $ H({\boldsymbol{X}}|{\boldsymbol{G}})/n $ の一文字式表現を確立する。
• コミュニティ検出が統計的に可能になる信号対雑音比 $ \lambda_n $ の臨界閾値を特定する。
• 相互情報量をガウス指向チャネルモデルにおける最小平均二乗誤差などの推定理論的量と結びつける。

提案手法

• 有効なガウススカラー指向チャネルモデルを用いて、漸近的単位頂点相互情報量の明示的一文字式を導出する。
• ストースティックブロックモデル上での信念伝播に類似したアルゴリズムのダイナミクスを追跡するための状態推定フレームワークを導入する。
• 観測モデルの有効な表現として、$ X_0 \sim \text{Uniform}(\{+1,-1\}) $ を用いたガウス指向チャネルモデル $ Y_0 = \sqrt{\gamma} X_0 + Z_0 $ を適用する。
• 信念状態 $ \boldsymbol{x}^t, \boldsymbol{s}^t $ の逐次的更新を適用し、擬似リプシッツ関数と集中不等式を用いて収束を追跡する。
• グラフの隣接行列に対するガウス近似を適用し、ランダム行列理論の結果を用いてノイズ行列のスペクトルノルムを制御する。
• 局所的弱収束に関する定理 [JM13] を適用して、信念伝播ダイナミクスの漸近的挙動を正当化する。

実験結果

リサーチクエスチョン

• RQ1 対称的二群ストースティックブロックモデルにおける頂点ラベルとグラフの間の正確な漸近的単位頂点相互情報量は何か？
• RQ2 信号対雑音比 $ \lambda_n $ に応じて相互情報量はどのように変化し、どこで段階的転移が発生するか？
• RQ3 計算能力が無制限であっても、コミュニティ検出が統計的に不可能な領域は存在するか？
• RQ4 相互情報量は一文字指向チャネルモデルで表現可能か？また、最小平均二乗誤差とはどのような関係にあるか？

主な発見

• 漸近的単位頂点相互情報量は、二値入力を持つガウス指向チャネルの相互情報量を含む一文字式で特徴づけられる。
• 臨界信号対雑音比 $ \lambda_n \to 0 $ 未満では、単位頂点あたりの相互情報量が辺が独立である場合と等しく収束し、コミュニティ検出は不可能であることを示唆する。
• 閾値 $ \lambda_n = \Theta(1) $ を超えると、相互情報量は独立辺上界を厳密に下回り、コミュニティ構造が統計的に検出可能であることを示す。
• 相互情報量は $ \lambda_n = 1 $ で段階的転移を示し、ランダム推測を超えて頂点ラベルの推定が著しく向上する。
• 相互情報量は頂点あたり $ \log 2 $ ナツで上界に抑えられ、$ \lambda_n $ が定数のとき、条件付きエントロピー $ H({\boldsymbol{X}}|{\boldsymbol{G}})/n $ は 0 と $ \log 2 $ の間の値に収束する。
• 結果から、$ \lambda_n \to 0 $ のとき、いかなるアルゴリズムでもランダム推測を超えて分割を推定することはできないが、$ \lambda_n $ が 0 から離れていると推定が可能になることが示唆される。