[論文レビュー] Stochastic Block Models and Reconstruction

Elchanan Mossel, Joe Neeman+1 more|arXiv (Cornell University)|Feb 7, 2012

Topological and Geometric Data Analysis参考文献 37被引用数 142

ひとこと要約

この論文は、$(a-b)^2 < 2(a+b)$ のとき、スパースなステーショナリック・ブロックモデルにおけるクラスタリングが不可能であることを厳密に証明しており、統計物理学からのデセールらの予想の半分を裏付けている。クラスタリング、スピンガラスモデル、ベーゼ・ラティス上の再構築問題との間の関係を確立し、この領域ではパラメータ推定も不可能であることを示している。一方、$(a-b)^2 > 2(a+b)$ のときには、効率的なアルゴリズムが提供されている。

ABSTRACT

The planted partition model (also known as the stochastic blockmodel) is a classical cluster-exhibiting random graph model that has been extensively studied in statistics, physics, and computer science. In its simplest form, the planted partition model is a model for random graphs on $n$ nodes with two equal-sized clusters, with an between-class edge probability of $q$ and a within-class edge probability of $p$. Although most of the literature on this model has focused on the case of increasing degrees (ie.\ $pn, qn o \infty$ as $n o \infty$), the sparse case $p, q = O(1/n)$ is interesting both from a mathematical and an applied point of view. A striking conjecture of Decelle, Krzkala, Moore and Zdeborová based on deep, non-rigorous ideas from statistical physics gave a precise prediction for the algorithmic threshold of clustering in the sparse planted partition model. In particular, if $p = a/n$ and $q = b/n$, then Decelle et al.\ conjectured that it is possible to cluster in a way correlated with the true partition if $(a - b)^2 &gt; 2(a + b)$, and impossible if $(a - b)^2 &lt; 2(a + b)$. By comparison, the best-known rigorous result is that of Coja-Oghlan, who showed that clustering is possible if $(a - b)^2 &gt; C (a + b)$ for some sufficiently large $C$. We prove half of their prediction, showing that it is indeed impossible to cluster if $(a - b)^2 &lt; 2(a + b)$. Furthermore we show that it is impossible even to estimate the model parameters from the graph when $(a - b)^2 &lt; 2(a + b)$; on the other hand, we provide a simple and efficient algorithm for estimating $a$ and $b$ when $(a - b)^2 &gt; 2(a + b)$. Following Decelle et al, our work establishes a rigorous connection between the clustering problem, spin-glass models on the Bethe lattice and the so called reconstruction problem. This connection points to fascinating applications and open problems.

研究の動機と目的

• スパースなプラント・パーティション・モデルにおけるクラスタリングのアルゴリズム的閾値を解明すること。ここでのエッジ確率は $a/n$ および $b/n$ に比例する。
• デセールらが提示した統計物理学的非厳密な予想、すなわちクラスタリングが可能となるのは $(a-b)^2 > 2(a+b)$ のときに限ることを、厳密に検証すること。
• スパースな状態におけるクラスタリング、ベーゼ・ラティス上の再構築問題、スピンガラスモデルとの間の関係を確立すること。
• パラメータ $a$ と $b$ の推定が、グラフ構造からどの程度可能であるかを特定すること。
• $(a-b)^2 > 2(a+b)$ のとき、$a$ と $b$ を効率的に推定するシンプルなアルゴリズムを提供すること。

提案手法

• ベーゼ・ラティス上での再構築問題の枠組みを用い、グラフ構造から隠れたコミュニティラベルへの情報の流れを分析する。
• 根からの距離に基づいて頂点ごとに関数 $f$ を構築し、深さが増すに従いラベルの符号と関連づけることで、信念伝播をモデル化する。
• 隣接行列 $A$ のスペクトル的性質を分析する。$Af$ とスケーリングされた $f$ の差のノルム $ olinebreak[4]\|Af - \lambda f\|_2$ が、$|\theta| > (d-1)^{-1/2}$ のとき、$ olinebreak[4]\|f\|_2$ に対して無視できるほど小さくなることを示す。
• 根からの距離 $r$ における頂点の和の再帰的分解を用い、$Af(v) - \lambda f(v)$ の分散を計算し、深さ $r$ とともに指数的に減少することを示す。
• 集中不等式を適用して、$\|f\|_2^2$ が深さに従って指数的に増加する一方で、$\|Af - \lambda f\|_2^2$ はそれより遅く増加することを示し、$f$ が $A$ の固有ベクトルに近いことを示す。
• もし $f$ が固有ベクトルに近いならば、$A$ の最大固有ベクトルは真のコミュニティラベルと相関する。これは再構築が可能であることを意味する。

実験結果

リサーチクエスチョン

• RQ1 $(a-b)^2 < 2(a+b)$ のとき、スパースなステーショナリック・ブロックモデルにおけるクラスタリングは可能か？
• RQ2 $(a-b)^2 < 2(a+b)$ のとき、パラメータ $a$ と $b$ はグラフ構造から推定可能か？
• RQ3 再構築閾値 $(a-b)^2 = 2(a+b)$ は、情報理論的限界における相転移に対応するか？
• RQ4 $(a-b)^2 > 2(a+b)$ のとき、スペクトル的または信念伝播アルゴリズムがクラスタリングを達成可能か？
• RQ5 クラスタリング問題、ベーゼ・ラティス上のスピンガラスモデル、再構築問題との正確な関係は何か？

主な発見

• $(a-b)^2 < 2(a+b)$ のとき、真の分割と相関する形でのクラスタリングは不可能であり、デセールらの予想における不可能性の側を裏付けた。
• $(a-b)^2 < 2(a+b)$ のとき、$a$ と $b$ のパラメータ推定でさえ、近似的にすら不可能である。
• $(a-b)^2 > 2(a+b)$ のとき、$a$ と $b$ をグラフから推定するシンプルで効率的なアルゴリズムが存在する。
• 隣接行列 $A$ のスペクトル的性質から、$(a-b)^2 > 2(a+b)$ のとき、最大固有ベクトルが真のコミュニティ構造と相関することを示した。
• 解析により、クラスタリング問題とベーゼ・ラティス上での再構築問題との深い関係が確認され、統計物理学におけるスピンガラスモデルと結びついた。
• $(a-b)^2 = 2(a+b)$ という閾値は、クラスタリングおよびパラメータ推定の情報理論的実現可能性における明確な相転移を示している。