[論文レビュー] Testing for Global Network Structure Using Small Subgraph Statistics

Chao Gao, John Lafferty|arXiv (Cornell University)|Oct 2, 2017

Complex Network Analysis Techniques参考文献 40被引用数 41

ひとこと要約

本稿では、エッジ、ベー、および三角形の頻度のみを用いて、ネットワークにおけるコミュニティ構造を検出する統計的仮説検定を提案する。Erdős-Zuckerberg（EZ）統計量を活用することで、コミュニティ構造のない帰無仮説のもとで漸近的に正規分布に従い、度数補正付きストークスティックブロックモデルにおける代替仮説のもとでパワーが1に近づく。これにより、コミュニティが弱信号的であり、標準的な推定手法では検出不能な状況でも、ほぼ最適な検出が可能になる。

ABSTRACT

We study the problem of testing for community structure in networks using relations between the observed frequencies of small subgraphs. We propose a simple test for the existence of communities based only on the frequencies of three-node subgraphs. The test statistic is shown to be asymptotically normal under a null assumption of no community structure, and to have power approaching one under a composite alternative hypothesis of a degree-corrected stochastic block model. We also derive a version of the test that applies to multivariate Gaussian data. Our approach achieves near-optimal detection rates for the presence of community structure, in regimes where the signal-to-noise is too weak to explicitly estimate the communities themselves, using existing computationally efficient algorithms. We demonstrate how the method can be effective for detecting structure in social networks, citation networks for scientific articles, and correlations of stock returns between companies on the S\&P 500.

研究の動機と目的

• コミュニティの明示的推定を必要とせず、計算的に効率的なグローバルコミュニティ構造検出手法の開発。
• 局所的な部分グラフ頻度に基づく統計的仮説検定の確立。帰無仮説（コミュニティ構造なし）のもとで漸近的に正規分布に従うことを保証。
• 既存のコミュニティ検出アルゴリズムが失敗する信号対雑音比が極めて低い状況でも、コミュニティ構造を高パワーで検出できるようにすること。
• 多変量正規分布データへの手法の拡張。ネットワークデータを超えた応用範囲の拡大。
• 実世界のネットワーク、特にソーシャルネットワーク、引用ネットワーク、株価リターン相関ネットワークにおける実効性の実証。

提案手法

• 本手法は、Erdős-Zuckerberg（EZ）統計量 $\chi_{ez} = T - (V/E)^3 $ を用いる。ここで $T$、$V$、$E$ はそれぞれ三角形、ベー、エッジの観測密度を表す。
• 検定統計量は3ノード部分グラフの経験的頻度から構成され、コミュニティ構造なしの帰無仮説のもとで漸近的に正規分布に従うことが示された。
• 代替仮説として、コミュニティ構造と次数の不均一性を両方捉える度数補正付きストークスティックブロックモデルを採用。
• 理論的解析により、合成代替仮説のもとでパワーが1に近づくことが保証された。これは、コミュニティが弱く検出可能であっても、強い検出能力を有することを示す。
• 部分グラフ頻度フレームワークを相関構造に適応することで、多変量正規分布データへの手法の拡張を実現。
• モデル下での集中不等式およびモーメントマッチングを用いて、部分グラフカウントの分散および2次のモーメントに関する理論的バウンディングを導出。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ構造は、コミュニティの割り当てを推定することなく、局所的な部分グラフ頻度のみを用いて検出可能か？
• RQ2 3ノード部分グラフに基づくEZ統計量は、弱信号条件下でもグローバルコミュニティ構造の検定に有効かつ強力な検定を提供するか？
• RQ3 標準的なコミュニティ検出アルゴリズムが信号対雑音比が低いために失敗する状況でも、本手法はほぼ最適な検出率を達成できるか？
• RQ4 本手法は、ソーシャルネットワークや金融相関ネットワークなど、複雑な構造を有する実世界のネットワークにおいて、どのように性能を発揮するか？
• RQ5 本フレームワークは、潜在的なクラスタ構造を検出できるように、多変量正規分布データへ一般化可能か？

主な発見

• 提案された検定統計量は、コミュニティ構造なしの帰無仮説のもとで漸近的に正規分布に従うため、有意水準の計算が可能になる。
• 度数補正付きストークスティックブロックモデルのもとで、パワーが1に近づくことが確認され、弱信号下でも強力な検出能力を有することが示された。
• 明示的なコミュニティ推定が計算的に非効率的または統計的に不可能な状況（信号対雑音比が極めて低い状況）においても、本手法はほぼ最適な検出率を達成した。
• 実験的結果から、本手法はFacebookフレンドネットワーク、科学的引用ネットワーク、S&P 500株価リターン相関ネットワークにおいて、コミュニティ構造を効果的に検出できた。
• 検定統計量の分散は $O\left(a^6 \left(\frac{nr}{k}\right)^5\right)$ で有界であることが示され、理論的漸近正規性およびパワーの結果を裏付ける。
• 多変量正規分布データへの拡張により、本手法のネットワークデータを超えた応用範囲の広がりが示された。理論的妥当性を維持したまま。