[論文レビュー] Community Detection in Random Networks

Ery Arias-Castro, Nicolas Verzélen+2 more|arXiv (Cornell University)|Feb 28, 2013

Complex Network Analysis Techniques参考文献 21被引用数 39

ひとこと要約

本稿は、エッジ確率 $p_1 > p_0$ の Erdös-Rényi ランダムネットワークにおける密に接続された部分グラフ（コミュニティ）を同定するための鋭い検出限界を確立し、最小最大の仮説検定として問題を形式化する。合算次数統計量とスキャン統計量を組み合わせた検定によって達成可能な検出境界を導出し、$p_0$ が未知の場合や多項式時間アルゴリズムへの応用を含む凸緩和による一般化を進め、$np_0$ がゼロから離れているか、ゆっくりと減少する準正規的領域における主要な結果を提示する。

ABSTRACT

Random graph models with community structure have been studied extensively in the literature. For both the problems of detecting and recovering community structure, an interesting landscape of statistical and computational phase transitions has emerged. A natural unanswered question is: might it be possible to infer properties of the community structure (for instance, the number and sizes of communities) even in situations where actually finding those communities is believed to be computationally hard? We show the answer is no. In particular, we consider certain hypothesis testing problems between models with different community structures, and we show (in the low-degree polynomial framework) that testing between two options is as hard as finding the communities. In addition, our methods give the first computational lower bounds for testing between two different "planted" distributions, whereas previous results have considered testing between a planted distribution and an i.i.d. "null" distribution.

研究の動機と目的

• ランダムネットワークにおけるコミュニティ検出を最小最大の仮説検定問題として形式化すること。
• エッジ確率 $p_1 > p_0$ の Erdös-Rényi グラフにおいて、サイズ $n$ の密な部分グラフ（コミュニティ）を同定するための鋭い検出境界を導出すること。
• 情報理論的検出限界に達するテストを設計すること。$p_0$ が既知または未知の場合の両方を含む。
• 特にスキャンテストの凸緩和に基づく多項式時間アルゴリズムの性能を分析し、最適テストと比較すること。

提案手法

• コミュニティ検出を二仮説検定問題として形式化：帰無仮説は $G(N, p_0)$、対立仮説はサイズ $n$ の部分グラフでエッジ密度が $p_1 > p_0$ である。
• 情報理論的議論を用いて、すべての検定に適用可能な検出性能の最小最大下界を導出する。
• 合算次数統計量とスキャン（最大モジュラリティ）統計量の組み合わせによる検定を提案し、検出境界を達成する。
• $p_0$ が未知の場合、度数分散検定を導入し、スキャン検定をグローバルなグラフ推定値を用いてキャリブレーションする。
• スキャン統計量の凸緩和に基づく多項式時間検定を構築し、スパース固有値問題にインspiredされた手法を採用する。
• 最適スキャン検定とその凸緩和の性能ギャップを分析し、他の多項式時間手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを無視しても、ランダムネットワークにおける密な部分グラフの同定の根本的検出限界は何か？
• RQ2 $p_0$ が未知である場合、検出境界はどのように変化するか？
• RQ3 多項式時間アルゴリズムが情報理論的検出限界に達することができるか、それとも根本的なギャップが存在するか？
• RQ4 スパarsityの異なる領域において、合算次数統計量とスキャン統計量の検出力はどのように比較できるか？

主な発見

• 検出境界は条件 $\sqrt{n}(p_1 - p_0) / \sqrt{p_0(1 - p_0)} \gg \sqrt{\log(N/n)}$ によって特徴づけられ、これは検出に必要なだけでなく十分である。
• 合算次数統計量とスキャン統計量の組み合わせ検定は、最適な検出境界を達成し、情報理論的下界と一致する。
• $p_0$ が未知の場合、検出境界は拡大し、度数分散検定とキャリブレーション済みスキャン検定の組み合わせにより、新たな最適閾値が達成される。
• スキャン検定の凸緩和は、最適スキャン検定の検出境界の定数倍の範囲に収まり、スパース領域ではギャップが生じる。
• 最大次数検定は $n \ll N$ の場合に無力であるが、同じ条件下でもスキャン検定は依然として有効である。
• 準正規的領域（$np_0$ がゼロから離れているか、ゆっくりと減少する）では、検出境界が鋭くなり、提案された検定は漸近的に最適である。