[論文レビュー] Recovering communities in the general stochastic block model without knowing the parameters

Emmanuel Abbé, Colin Sandon|arXiv (Cornell University)|Jun 11, 2015

Opinion Dynamics and Social Influence参考文献 35被引用数 18

ひとこと要約

本稿では、モデルパラメータやコミュニティ数の事前知識がなくとも、一般化されたストーキアスティックブロックモデル（SBM）におけるコミュニティ検出のための、初めての効率的でアグノスティックなアルゴリズムを提示する。本稿は、定数、発散、対数的次数の3つの次数領域において、部分的回復および正確回復の両面で情報理論的に最適な性能を達成しており、パラメータとコミュニティを同時に学習し、準線形時間計算量と高い正確性を実現する、新規の適応的アルゴリズムを用いている。

ABSTRACT

Most recent developments on the stochastic block model (SBM) rely on the knowledge of the model parameters, or at least on the number of communities. This paper introduces efficient algorithms that do not require such knowledge and yet achieve the optimal information-theoretic tradeoffs identified in [AS15] for linear size communities. The results are three-fold: (i) in the constant degree regime, an algorithm is developed that requires only a lower-bound on the relative sizes of the communities and detects communities with an optimal accuracy scaling for large degrees; (ii) in the regime where degrees are scaled by $ω(1)$ (diverging degrees), this is enhanced into a fully agnostic algorithm that only takes the graph in question and simultaneously learns the model parameters (including the number of communities) and detects communities with accuracy $1-o(1)$, with an overall quasi-linear complexity; (iii) in the logarithmic degree regime, an agnostic algorithm is developed that learns the parameters and achieves the optimal CH-limit for exact recovery, in quasi-linear time. These provide the first algorithms affording efficiency, universality and information-theoretic optimality for strong and weak consistency in the general SBM with linear size communities.

研究の動機と目的

• モデルパラメータやコミュニティ数の事前知識が不要な、一般化されたストーキアスティックブロックモデル（SBM）における効率的なコミュニティ検出アルゴリズムの開発。
• 線形サイズのコミュニティにおいて、部分的回復および正確回復の両領域で、情報理論的に最適な性能を達成すること。
• コミュニティ数を含むモデルパラメータを同時に学習し、完全にアグノスティックな方法でコミュニティを検出するアルゴリズムの設計。
• 多様な次数領域において、高い正確性を維持しながら、準線形時間計算量を確保すること。
• モデル不確実性下でのコミュニティ検出において、理論的最適性と実用的導入可能性のギャップを埋めること。

提案手法

• 定数次数領域における部分的回復のためのアグノスティック・スフィア・コンパレーション・アルゴリズムを導入。パラメータ不確実性下での次数プロファイル歪みとロバスト分類を用いる。
• 発散および対数的次数領域における正確回復のためのアグノスティック・ディグリー・プロファイリング・アルゴリズムを採用。次数プロファイルのテストと反復的精錬を活用する。
• 2段階のグラフサンプリング手法を用いる：グラフを独立した部分グラフに分割することで相関効果を低減し、推定のロバスト性を向上させる。
• 歪みに基づく分類法を適用し、次数プロファイル間の全変動距離を用いて誤分類確率の上限を設定する。
• パラメータ不確実性に対処するためのロバスト推定技術を組み込み、誤差率が次数に従って指数的に減少することを保証する。
• 集中不等式と次数プロファイルの集中性を活用し、未知のパラメータ下での誤分類確率の上限を設定する。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ数やモデルパラメータの事前知識がなくても、一般化されたSBMにおけるコミュニティ検出が可能か？
• RQ2 コミュニティ検出において、計算効率、パラメータアグノシスティシティ、情報理論的最適性の間の根本的トレードオフは何か？
• RQ3 定数、発散、対数的次数領域において、パラメータの知識がなくても、最適な部分的および正確回復を達成するにはどうすればよいか？
• RQ4 1つのアルゴリズムが、高い正確性と準線形時間計算量を満たしながら、同時にモデルパラメータとコミュニティを学習・検出できるか？
• RQ5 パラメータの知識が完全にない状況で達成可能な最適な正確性は何か？ また、パラメータが既知の状況での理論的限界と一致するか？

主な発見

• 定数次数領域では、アグノスティック・スフィア・コンパレーション・アルゴリズムが、コミュニティサイズの下限値が与えられれば、高確率で最適な正確性スケーリングを達成する。
• 発散次数領域では、完全にアグノスティックなアルゴリズムが、正確回復の正確性 1−o(1) を達成し、準線形時間で実行され、同時にコミュニティ数とパラメータを学習する。
• 対数的次数領域では、アグノスティックなアルゴリズムが、正確回復の最適なCH限界に達し、パラメータが既知の状況での情報理論的限界と一致する。
• 3つの次数領域（定数、ω(1)、対数的）において、モデルパラメータの知識がなくても、アルゴリズムは最適な性能を達成する。
• 誤分類確率は、Δ = min_{i≠j} D₊((PQ)_i, (PQ)_j) に対して、O(n^{-(1−γ)Δ/2 + o(1)}) のオーダーで減少し、大規模ネットワークにおいても高い正確性を保証する。
• アグノスティック・アルゴリズム全体の計算量は準線形であり、大規模ネットワークへのスケーラビリティと実用性を実現している。