[論文レビュー] Testing Degree Corrections in Stochastic Block Models

Rajarshi Mukherjee, Subhabrata Sen|arXiv (Cornell University)|May 22, 2017

Complex Network Analysis Techniques参考文献 10被引用数 4

ひとこと要約

本稿では、度の分布が不均一なネットワークにおけるコミュニティ検出を改善するため、度数補正付きストキャスティックブロックモデル（DCSBM）を提案する。著者らは、ノードの次数が著しく異なる場合でも、コミュニティ構造に関する仮説検定が統計的に一貫性を保つための条件を、臨界閾値 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ を導出することで確立した。主な貢献は、度の不均一性が生じる条件下でも信頼できるコミュニティ検出を保証する理論的根拠の提供である。

ABSTRACT

We study sharp detection thresholds for degree corrections in Stochastic Block Models in the context of a goodness of fit problem, and explore the effect of the unknown community assignment (a high dimensional nuisance parameter) and the graph density on testing for degree corrections. When degree corrections are relatively dense, a simple test based on the total number of edges is asymptotically optimal. For sparse degree corrections, the results undergo several changes in behavior depending on density of the underlying Stochastic Block Model. For graphs which are not extremely sparse, optimal tests are based on Higher Criticism or Maximum Degree type tests based on a linear combination of within and across (estimated) community degrees. In the special case of balanced communities, a simple degree based Higher Criticism Test (Mukherjee, Mukherjee, Sen 2016) is optimal in case the graph is not completely dense, while the more complicated linear combination based procedure is required in the completely dense setting. The ``necessity" of the two step procedure is demonstrated for the case of balanced communities by the failure of the ordinary Maximum Degree Test in achieving sharp constants. Finally for extremely sparse graphs the optimal rates change, and a version of the maximum degree test with a different rejection region is shown to be optimal.

研究の動機と目的

• 度の分布が不均一なネットワークにおけるコミュニティ検出の課題に対処すること。
• ストキャスティックブロックモデルにおける度の不均一性を考慮する統計的枠組みを構築すること。
• 一貫性のあるコミュニティ検出を保証する理論的閾値 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ を導出すること。
• 度のパターンやネットワークのスパarsityの変化に対して、コミュニティ検出のロバストネスを検証すること。

提案手法

• 著者らは、度数補正を施した下でコミュニティ構造を評価するための仮説検定 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ を定義する。
• 検出可能と非検出可能なコミュニティ構造を分ける臨界閾値 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ を導出する。
• この閾値は区分的定義である：$ \alpha \in (1/2, 3/4) $ の場合、$ \alpha - 1/2 $ に対して線形に依存する。$ \alpha \geq 3/4 $ の場合、$ (1 - \sqrt{1 - \alpha})^2 $ に依存する。
• モデルは、コミュニティ固有の辺確率を表すパラメータ $ \beta_1, \beta_2 $ と、ネットワークのスパarsityを表す $ \alpha $ を組み込む。
• コミュニティ検出における誤差確率を抑え込むために、集合 $ S_k^\nu $ および $ \Xi(s_n, A_n) $ における上限（suprema）を用いる。
• タイプIおよびタイプIIエラーを制御することで、度数補正モデル下での検定の一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 ノードの次数が著しく不均一な場合、どのような条件下でコミュニティ検出が依然として一貫性を保つのか。
• RQ2 ネットワークのスパarsity $ \alpha $ およびコミュニティパラメータ $ \beta_1, \beta_2 $ に応じて、臨界閾値 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ はどのように変化するか。
• RQ3 度数補正は、高次の不均一性下でも誤検出（偽陽性）を防止できるか。
• RQ4 度数補正付きストキャスティックブロックモデルにおける検出可能性の理論的限界は何か。
• RQ5 提案された検定 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ は、標準的なブロックモデルと比較して、誤差制御においてどのように異なるか。

主な発見

• 臨界閾値 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ は、度数補正付きモデルにおける検出可能と非検出可能なコミュニティ構造の境界を決定する。
• $ \alpha \in (1/2, 3/4) $ の場合、閾値は $ \alpha - 1/2 $ に対して線形にスケーリングされ、この領域ではスパarsityに対する線形感受性を示す。
• $ \alpha \geq 3/4 $ の場合、閾値は非線形関数 $ (1 - \sqrt{1 - \alpha})^2 $ に従い、ネットワークが密になるに従い検出可能性の増加が鈍くなることを反映する。
• 提案された検定 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ は、$ C > C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ のとき一貫性を達成し、信頼できる検出を保証する。
• この手法は、$ \Theta \in \Xi(s_n, A_n) $ 全体にわたってタイプIおよびタイプIIエラー確率を一様に制御し、ロバストネスを保証する。
• 理論的枠組みにより、度数補正がノードの次数が平均から著しく逸脱しても、一貫性のあるコミュニティ検出を可能にすることが立証された。