[論文レビュー] Community Detection in Sparse Random Networks

Ery Arias-Castro, Nicolas Verzélen|arXiv (Cornell University)|Aug 13, 2013

Complex Network Analysis Techniques被引用数 4

ひとこと要約

この論文は、エッジ確率がネットワークサイズに従って減少するスパースなランダムネットワークにおいて、隠された密集した部分グラフ（プラントコミュニティ）の存在を検出するコミュニティ検出を検討する。情報理論的下界を用いて鋭い検出閾値を確立し、スキャン統計量、最大連結成分、三角形の数、部分木の数といった複数の検定統計量を分析することで、エッジ確率がネットワークサイズとともに減少するスパースな状況下でほぼ最適な検出性能を達成する。

ABSTRACT

We consider the problem of detecting a tight community in a sparse random network. This is formalized as testing for the existence of a dense random subgraph in a random graph. Under the null hypothesis, the graph is a realization of an Erdös-Rényi graph on $N$ vertices and with connection probability $p_0$; under the alternative, there is an unknown subgraph on $n$ vertices where the connection probability is p1 > p0. In Arias-Castro and Verzelen (2012), we focused on the asymptotically dense regime where p0 is large enough that np0>(n/N)^{o(1)}. We consider here the asymptotically sparse regime where p0 is small enough that np00. As before, we derive information theoretic lower bounds, and also establish the performance of various tests. Compared to our previous work, the arguments for the lower bounds are based on the same technology, but are substantially more technical in the details; also, the methods we study are different: besides a variant of the scan statistic, we study other statistics such as the size of the largest connected component, the number of triangles, the eigengap of the adjacency matrix, etc. Our detection bounds are sharp, except in the Poisson regime where we were not able to fully characterize the constant arising in the bound.

研究の動機と目的

• エッジ確率がサイズに従って減少するスパースなランダムネットワークにおいて、隠された密集した部分グラフ（コミュニティ）を検出する問題に対処すること。
• 従来の密度の高い状況での研究を、$ np_0 < (n/N)^{c_0} $ を満たすある $ c_0 > 0 $ に対して、漸近的にスパースな状況へと拡張すること。
• スパースな状況下での検出性能に関する情報理論的下界を導出すること。
• スキャン、連結成分のサイズ、三角形、部分木の数といった複数の検定統計量のパワーを評価・比較すること。
• 鋭い検出閾値を確立すること（ただし、ポアソン状態では定数が未特定のまま残っている）。

提案手法

• 問題をミニマックス仮説検定として定式化：$ H_0 $（エッジ確率 $ p_0 $ のエッジ・レニ・ランダムグラフ） 対 $ H_1 $（サイズ $ n $ の高いエッジ確率 $ p_1 > p_0 $ を持つ隠れた部分グラフ）。
• 主な検定としてスキャン統計量を用い、部分グラフ内のエッジ数に関する集中性と尾確率の境界を評価することでその性能を検証する。
• 代替統計量の分析：最大連結成分のサイズ、三角形の数、特定サイズの部分木の数。
• スターリングの近似と組合せ的境界を用いて、部分グラフ内の構成数とエッジ確率を制御する。
• 測度の変更技術と2次モーメント法を用いて下界を導出し、まれだが情報量の多い部分グラフ構成に注目する。
• $ N \to \infty $、$ n \to \infty $、$ n/N \to 0 $、$ n/\log N \to \infty $ の下で漸近的解析を実施し、$ p_0, p_1 \to 0 $ とする。

実験結果

リサーチクエスチョン

• RQ1 スパースなランダムネットワークにおける隠れた密集部分グラフの検出の根本的限界は何か？
• RQ2 スパース状態下で、スキャン統計量、最大連結成分、三角形、部分木カウントといった異なる検定統計量の性能はどのように比較できるか？
• RQ3 エッジ確率 $ p_0 $ と $ p_1 $ が $ N $ とともに減少する状況において、鋭い検出閾値を確立できるか？
• RQ4 なぜポアソン状態は未解決のままであり、その検出閾値の完全な特徴付けが何故できないのか？
• RQ5 理論的検出限界と実用的な検定統計量との間で、達成可能なパワーにどのような差があるか？

主な発見

• この論文は、スパース状態下でのコミュニティ検出に対して鋭い検出閾値を確立し、スキャン統計量がほぼ最適な性能を達成することを示している。
• 検出境界は $ p_1 $、$ p_0 $、$ n $、$ N $ を含む閾値で特徴付けられ、ポアソン状態を除き境界はタイトである。
• 三角形の数と最大連結成分のサイズは、一般にスキャン統計量よりは弱いが、効果的な検出統計量であることが示された。
• 部分木カウント統計量は組合せ的列挙とモーメント境界を用いて分析され、スパース状況下での有用性が示された。
• 下界は、特に選択された部分グラフ構成に対して2次モーメント法を用いて導出され、検出の情報理論的限界を示している。
• ポアソン状態では、検出閾値における定数が未特定のまま残っており、この状況の理論的理解にギャップが存在することを示している。