[論文レビュー] Non-Reconstructability in the Stochastic Block Model

Joe Neeman, Praneeth Netrapalli|arXiv (Cornell University)|Apr 25, 2014

Random Matrices and Applications参考文献 17被引用数 21

ひとこと要約

本稿は、2つの等サイズクラスタのケースを越えて、ストークスティックブロックモデルにおける再構築不能性の十分条件を確立し、同じ平均次数を持つエレドシュ＝レニー確率グラフからの識別不能性と関連付ける。Kesten-Stigumの境界を超えて再構築不能性が生じることを示し、一般のブロックモデルにおける再構築の普遍的閾値を示す仮定に疑問を呈する。

ABSTRACT

We consider the problem of clustering (or reconstruction) in the stochastic block model, in the regime where the average degree is constant. For the case of two clusters with equal sizes, recent results by Mossel, Neeman and Sly, and by Massoulie, show that reconstructability undergoes a phase transition at the Kesten-Stigum bound of $λ_2^2 d = 1$, where $λ_2$ is the second largest eigenvalue of a related stochastic matrix and $d$ is the average degree. In this paper, we address the general case of more than two clusters and/or unbalanced cluster sizes. Our main result is a sufficient condition for clustering to be impossible, which matches the existing result for two clusters of equal sizes. A key ingredient in our result is a new connection between non-reconstructability and non-distinguishability of the block model from an Erdős-Rényi model with the same average degree. We also show that it is some times possible to reconstruct even when $λ_2^2 d < 1$. Our results provide evidence supporting a series of conjectures made by Decelle, Krzkala, Moore and Zdeborová regarding reconstructability and distinguishability of stochastic block models (but do not settle them).

研究の動機と目的

• 2つの等サイズクラスタの特別なケースを超えて、ストークスティックブロックモデルにおける再構築可能性の理解を拡張すること。
• 不均衡またはマルチクラスタ設定におけるKesten-Stigumの境界が、再構築可能性の鋭い閾値のまま残るかどうかを調査すること。
• 再構築不能性と、同じ平均次数を持つエレドシュ＝レニー確率グラフからの識別不能性との間の明示的関係を確立すること。
• 尤度比の2次モーメントが有限となる条件を分析し、連続性および再構築不能性の証明のための道具として用いること。
• デセールらのコミュニティ検出における相転移に関する予想を挑戦し、修正すること、特にKesten-Stigumの境界と凝縮転移の役割に焦点を当てる。

提案手法

• 平均次数が一致するエレドシュ＝レニー確率グラフからの識別不能性と再構築不能性との間の新しい接続を導入する。
• 2次モーメント法を用いて、ストークスティックブロックモデルとエレドシュ＝レニーモデルとの尤度比の2次モーメントが有限となる条件を確立し、連続性を示唆する。
• グラフにおける小さな分離子に基づく条件付き独立性の議論を適用し、Mosselら（2013）の補題4.7の変種を用いて、ラベルの漸近的独立性を示す。
• 一様可積分性と全 Variation 距離を用いて、ノードのラベルの事後分布が事前分布に収束することを示し、情報の増加がないことを示す。
• 2次モーメントの有限領域に対する境界を導出し、これは連続性のための十分条件だが必要条件ではない。また、不均衡モデルでは、この領域がKesten-Stigumの境界まで常に延長されないことを示す。
• 数値最適化を用いて、一様可積分性条件における関数Qの推定値を算出する。解析的閉形式は得られていないため。

実験結果

リサーチクエスチョン

• RQ1 Kesten-Stigumの境界は、2つ以上のクラスタまたは不均衡なクラスタサイズを持つストークスティックブロックモデルにおいて、再構築可能性の普遍的閾値であるか？
• RQ2 同じ平均次数を持つエレドシュ＝レニー確率グラフからの識別不能性を根拠に、再構築不能性を確立できるか？
• RQ3 不均衡な2クラスタモデルにおける再構築可能性と再構築不能性の正確な境界は何か？
• RQ4 尤度比の(1+ε)次モーメントの有限性は、連続性および再構築不能性とどのように関係するか？
• RQ5 一様可積分性条件における関数Qは明示的に計算可能か、それとも数値的にしか推定できないか？

主な発見

• 本稿は、2つの等サイズクラスタの既知の結果と一致する一般のストークスティックブロックモデルにおける再構築不能性の十分条件を確立した。
• λ₂²d < 1 でさえも再構築不能性が生じることを示し、Kesten-Stigumの境界が再構築不能性の失敗の必要条件ではないことを示した。
• Kesten-Stigumの境界を超えると、ストークスティックブロックモデルは対応するエレドシュ＝レニーモデルと直交する。これは強い統計的識別可能性を示す。
• Kesten-Stigumの境界未満では、一部の状況では2つのモデルが互いに連続的であるが、特に不均衡モデルでは、この連続性がKesten-Stigumの閾値まで常に延長されない。
• 2次モーメントの条件は連続性のための十分条件だが必要条件ではない。一部の状況では、このモーメントの有限領域は、完全な連続性領域よりも厳密に小さい。
• 著者らは、デセールらのコミュニティ検出における相転移に関する予想を支持する証拠を提供したが、証明まではしていない。特に、効率的再構築と計算的困難さの区別に焦点を当てる。