[論文レビュー] Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence

Varun Jog, Po‐Ling Loh|arXiv (Cornell University)|Sep 21, 2015

Random Matrices and Applications参考文献 37被引用数 34

ひとこと要約

本稿は、コミュニティ内およびコミュニティ間のエッジ重み分布間の1/2次レーニー交差エントロピーを用いて、重み付きストークスティックブロックモデル（weighted stochastic block models）における正確なコミュニティ回復の鋭い情報理論的閾値を確立する。最大尤度推定が、1/2次レーニー交差エントロピーが臨界閾値を上回る場合には高確率で成功し、それ以下の場合は有界確率で失敗することを証明しており、従来の非重み付きSBMの結果を連続的および離散的エッジ重みモデルへ一般化している。

ABSTRACT

We derive sharp thresholds for exact recovery of communities in a weighted stochastic block model, where observations are collected in the form of a weighted adjacency matrix, and the weight of each edge is generated independently from a distribution determined by the community membership of its endpoints. Our main result, characterizing the precise boundary between success and failure of maximum likelihood estimation when edge weights are drawn from discrete distributions, involves the Renyi divergence of order $\frac{1}{2}$ between the distributions of within-community and between-community edges. When the Renyi divergence is above a certain threshold, meaning the edge distributions are sufficiently separated, maximum likelihood succeeds with probability tending to 1; when the Renyi divergence is below the threshold, maximum likelihood fails with probability bounded away from 0. In the language of graphical channels, the Renyi divergence pinpoints the information-theoretic capacity of discrete graphical channels with binary inputs. Our results generalize previously established thresholds derived specifically for unweighted block models, and support an important natural intuition relating the intrinsic hardness of community estimation to the problem of edge classification. Along the way, we establish a general relationship between the Renyi divergence and the probability of success of the maximum likelihood estimator for arbitrary edge weight distributions. Finally, we discuss consequences of our bounds for the related problems of censored block models and submatrix localization, which may be seen as special cases of the framework developed in our paper.

研究の動機と目的

• 任意のエッジ重み分布を有する重み付きストークスティックブロックモデルにおける正確なコミュニティ回復の情報理論的限界を導出すること。
• 従来の非重み付きSBMで観察された1/2次レーニー交差エントロピーが、重み付き設定でも根本的な量として残るかどうかを特定すること。
• 非重み付きブロックモデルから重み付きブロックモデルへの既存の正確な回復閾値の一般化を行うこと。
• 任意のエッジ重み分布に対して、1/2次レーニー交差エントロピーと最大尤度推定の成功確率との間の一般的な関係を確立すること。
• 提案されたフレームワークの特殊ケースとしての遮断ブロックモデルおよび部分行列局在化問題への影響を検討すること。

提案手法

• 著者らは、エッジ重みをコミュニティ固有の分布から独立に抽出される確率変数としてモデル化し、コミュニティ内エッジとコミュニティ間エッジが異なる分布に従うように設定する。
• コミュニティ内およびコミュニティ間エッジ分布間の1/2次レーニー交差エントロピーを用いて、最大尤度推定の失敗確率に対する一般的上限を導出する。
• 大偏差およびモーメント生成関数の技法を用いて、帰無仮説および対立仮説下での対数尤度比の漸近的挙動を特徴付ける。
• 重要な技術的ステップとして、正規分布への対数尤度比の正規化和の収束を、モーメント生成関数の漸近的展開を用いて示す。
• 証明は、対数尤度比増分の対称的分布の構築と、さまざまなエッジ重みモデル下での質量分布の分析に依存する。
• フレームワークは、遮断ブロックモデルおよび部分行列局在化問題が、提示された重み付きSBMの特殊ケースとして示されるよう拡張されている。

実験結果

リサーチクエスチョン

• RQ1 離散的または連続的エッジ重みを有する重み付きストークスティックブロックモデルにおいて、1/2次レーニー交差エントロピーが正確な回復の鋭い閾値を継続的に果たすか。
• RQ2 最大尤度推定の成功確率が、コミュニティ内およびコミュニティ間エッジ分布の分離度にどのように依存するか。
• RQ3 2値入力を持つグラフィカルチャネルの情報理論的容量が、重み付き設定において1/2次レーニー交差エントロピーを用いて特徴付けられるか。
• RQ4 既存の非重み付きSBMの回復閾値が、より豊かなエッジ重み情報を持つモデルへどの程度一般化可能か。
• RQ5 導出された境界が、遮断ブロックモデルや部分行列局在化といった関連問題に及ぼす影響は何か。

主な発見

• コミュニティ内およびコミュニティ間エッジ分布間の1/2次レーニー交差エントロピーが臨界閾値を上回る場合、最大尤度推定による正確な回復は確率が1に近づく。
• 1/2次レーニー交差エントロピーが閾値未満の場合、最大尤度推定は0に近い確率で失敗し、鋭い相転移が示される。
• 1/2次レーニー交差エントロピーは、重み付きSBMにおけるコミュニティ推定の内在的難易度を測る根本的な情報理論的指標である。
• 結果は、非重み付きSBMの既存の閾値を任意の離散的エッジ重み分布へ一般化し、1/2次レーニー交差エントロピーが主要制御パラメータとしての役割を保持している。
• フレームワークは、情報理論的レベルでコミュニティ回復が、エッジタイプ（コミュニティ内対コミュニティ間）の分類と同等の難易度であるという自然な直感を支持する。
• 導出された境界は、遮断ブロックモデルおよび部分行列局在化に適用可能であり、これらが提示されたフレームワーク下での重み付きSBMの特殊ケースであることが示された。