[論文レビュー] Relative Density and Exact Recovery in Heterogeneous Stochastic Block Models

Amin Jalali, Qiyang Han+2 more|arXiv (Cornell University)|Dec 15, 2015

Complex Network Analysis Techniques参考文献 19被引用数 5

ひとこと要約

本稿は、コミュニティのサイズや接続確率が大きくばらつきのある非一様なストークス・ブロック・モデル（SBM）において、正確な回復を支配する主要なパラメータとして相対密度を導入する。コミュニティが非常に小さくても（最小で√log nのサイズ）、密度が高くかつ数が少ない（nに関して多対数的）場合、正確な回復が可能であることが示され、一様なSBMにおける従来の√nの閾値に挑戦する。

ABSTRACT

The Stochastic Block Model (SBM) is a widely used random graph model for networks with communities. Despite the recent burst of interest in recovering communities in the SBM from statistical and computational points of view, there are still gaps in understanding the fundamental information theoretic and computational limits of recovery. In this paper, we consider the SBM in its full generality, where there is no restriction on the number and sizes of communities or how they grow with the number of nodes, as well as on the connection probabilities inside or across communities. This generality allows us to move past the artifacts of homogenous SBM, and understand the right parameters (such as the relative densities of communities) that define the various recovery thresholds. We outline the implications of our generalizations via a set of illustrative examples. For instance, $\log n$ is considered to be the standard lower bound on the cluster size for exact recovery via convex methods, for homogenous SBM. We show that it is possible, in the right circumstances (when sizes are spread and the smaller the cluster, the denser), to recover very small clusters (up to $\sqrt{\log n}$ size), if there are just a few of them (at most polylogarithmic in $n$).

研究の動機と目的

• スパarsな非一様ネットワークにおけるコミュニティ検出の情報理論的・計算的限界に関する理解のギャップを埋めること。
• コミュニティのサイズ、数、接続確率に制限を設けない一般化されたストークス・ブロック・モデルにおける正確な回復の閾値を特定すること。
• 特に小さなコミュニティや不均衡なコミュニティにおいて、回復可能性を支配する主要なパラメータとして相対密度を同定すること。
• コミュニティが√log nのサイズにまで小さくても、十分に密でかつ数が少ない場合、正確な回復が可能であることを示すこと。
• スパarsで非一様かつ成長するコミュニティを含むSBMに適用可能なフレームワークを導入することで、既存の結果を統合・一般化すること。

提案手法

• 任意のコミュニティサイズ、成長率、接続確率を許容する一般化された非一様なストークス・ブロック・モデルを導入する。
• コミュニティの回復可能性の主要な記述子として、内部接続と外部接続の信号対雑音比を測る相対密度D(p_k, q)を定義する。
• 相対密度とコミュニティサイズに基づく新しいフレームワークを提案し、正確な回復の閾値を決定する。
• 集中不等式と確率的行列理論を用いて、さまざまなコミュニティ構成における回復条件を分析する。
• 次数に基づく手法とスペクトル解析を組み合わせた技術を用いて、正確な回復の十分条件を導出する。
• コミュニティサイズと接続確率を変化させた例示的構成を用いて、理論的結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般化された非一様なストークス・ブロック・モデルにおける、正確なコミュニティ回復の根本的な情報理論的限界は何か？
• RQ2 内部および外部接続確率間の相対密度が、小さなコミュニティや不均衡なコミュニティの回復可能性にどのように影響するか？
• RQ3 コミュニティのサイズが√n未満の場合でも正確な回復が達成可能か？ どのような条件下で可能か？
• RQ4 コミュニティの数とサイズ分布が回復閾値にどのように寄与するか？
• RQ5 既存の回復保証（例えば、一様なSBMにおけるもの）は、非一様な設定においてどのように拡張可能か、あるいは失敗するか？

主な発見

• コミュニティが√log nのサイズにまで小さくても、密度が高くかつその数が多対数的（polylogarithmic）に制限される場合、正確な回復が可能である。
• 一様なSBMにおけるコミュニティサイズの従来の√n閾値は根本的ではない。コミュニティが十分に密でかつ数が少ない限り、より小さなコミュニティも回復可能である。
• 正確な回復を保証するためには、相対密度D(p_min, q)がD(p_min, q) ≳ log n / n_minを満たす必要がある。さまざまな構成に対して明示的な境界が導出された。
• 理論的条件は(n^ε, O(1), n^{1−ε})および(n/2, n^{−α}log n, 1)の構成において検証され、β + ε > 2αおよび2ε + α > 1の条件下で回復が可能であることが示された。
• 提案されたフレームワークは既存の結果を一般化し、凸法、スペクトル法、または単純なしきい値処理が成功するパラメータ領域を同定した。
• 定理1の最後の条件が一部の構成（例：∑n_k^αがo(1)でない場合）で失敗するため、この手法の限界が特定され、困難な領域が同定された。