[論文レビュー] Determining the Number of Communities in Degree-corrected Stochastic Block Models

Shujie Ma, Liangjun Su+1 more|arXiv (Cornell University)|Sep 4, 2018

Complex Network Analysis Techniques参考文献 32被引用数 19

ひとこと要約

本稿では、度数補正付きストークスティックブロックモデル（DCSBM）におけるコミュニティ数の一貫性のある推定を目的として、疑似尤度比統計量とスペクトルクラスタリング、およびバイナリセグメンテーションを組み合わせた手法を提案する。平均次数が log(n) に等しいかそれ以上に成長するやや弱い条件下でも、この手法は一貫性を保証し、過適合および不足適合の状況における漸近的分布を導出する。

ABSTRACT

We propose to estimate the number of communities in degree-corrected stochastic block models based on a pseudo likelihood ratio statistic. To this end, we introduce a method that combines spectral clustering with binary segmentation. This approach guarantees an upper bound for the pseudo likelihood ratio statistic when the model is over-fitted. We also derive its limiting distribution when the model is under-fitted. Based on these properties, we establish the consistency of our estimator for the true number of communities. Developing these theoretical properties require a mild condition on the average degrees -- growing at a rate no slower than log(n), where n is the number of nodes. Our proposed method is further illustrated by simulation studies and analysis of real-world networks. The numerical results show that our approach has satisfactory performance when the network is semi-dense.

研究の動機と目的

• 実際の応用では通常未知である度数補正付きストークスティックブロックモデル（DCSBM）における真のコミュニティ数を推定するという重要な課題に取り組むこと。
• 固有値のような部分統計に依存するのではなく、データの完全な構造を活用するモデル選択手法を開発すること。
• 平均次数が log(n) より遅く成長しないという最小限の条件下で推定量の一貫性を確立すること。
• DCSBMの文脈において、反復的または確率的アプローチ（例：交差検証）の代わりに、計算的に実行可能で理論的裏付けのある代替手法を提供すること。
• モデル選択のための漸近的推論を可能にするために、過適合および不足適合の両状況下での疑似尤度比統計量の漸近的分布を導出すること。

提案手法

• スペクトルクラスタリングに基づく疑似尤度比統計量を提案し、異なるコミュニティ数におけるモデルの適合度を評価する。
• 上限の高い値から始め、反復的に候補となるコミュニティ数をテストするバイナリセグメンテーション手順を導入する。
• 各候補 K に対して、コミュニティ所属の推定と、コミュニティ平均や次数などの潜在的パラメータの推定にスペクトルクラスタリングを用いる。
• モデルが過適合されている場合の疑似尤度比統計量の上界を確立し、選択プロセスの安定性を保証する。
• 不足適合状況下での疑似尤度比統計量の漸近的分布を導出し、漸近的推論を可能にする。
• 正則化技術とスペクトル埋め込み上での K-means クラスタリングを適用し、コミュニティ割り当ての正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 現実的な条件下で、疑似尤度比統計量を用いて DCSBM におけるコミュニティ数を一貫して推定できるか？
• RQ2 スペクトルクラスタリングとバイナリセグメンテーションをどのように組み合わせることで、コミュニティ検出のモデル選択における理論的一貫性を確保できるか？
• RQ3 モデルが不足適合されている場合の疑似尤度比統計量の漸近的分布は何か？
• RQ4 推定量の一貫性を保証するために必要な平均次数の最小条件は何か？
• RQ5 本手法は、交差検証や固有値に基づく手法と比較して、理論的裏付けと計算的安定性の面でどのように優れているか？

主な発見

• 平均次数が log(n) に等しいかそれ以上に成長するという条件下では、提案手法の推定量は真のコミュニティ数に対して一貫性を示す。
• モデルが過適合されている場合、疑似尤度比統計量は上界で抑えられるため、K の過剰推定を防げる。
• 不足適合状況下での疑似尤度比統計量の漸近的分布が導出され、漸近的推論が可能になる。
• コミュニティ数が未知であり、データから選択されなければならない状況においても、一貫したコミュニティ検出が達成される。
• シミュレーション研究では、準密度ネットワークにおいても良好な性能を示し、K の推定が安定的かつ正確である。
• 理論的結果は、クラスタリング誤差とパラメータ推定に関する技術的補題を含む補足資料における厳密な証明によって裏付けられている。