[論文レビュー] Testing Community Structures for Hypergraphs

Mingao Yuan, Ruiqi Liu+2 more|arXiv (Cornell University)|Oct 10, 2018

Complex Network Analysis Techniques参考文献 62被引用数 9

ひとこと要約

本稿は、観測されたハイパーグラフをエドゥーシュ＝レニー（Erdős-Rényi）ランダムハイパーグラフと比較することにより、ハイパーグラフにおけるコミュニティ構造の存在を検証する統計的枠組みを提案する。ハイパーエッジ確率における段階的転移を確立し、有界次数および密度の高い状態の両方の設定において、識別可能性の鋭い信号対雑音比（SNR）閾値を導出する。また、エッジのみを用いる手法よりも優れた性能を示す、部分ハイパーグラフカウントを用いた新規な検定手法を提案する。

ABSTRACT

Many complex networks in real world can be formulated as hypergraphs where community detection has been widely used. However, the fundamental question of whether communities exist or not in an observed hypergraph still remains unresolved. The aim of the present paper is to tackle this important problem. Specifically, we study when a hypergraph with community structure can be successfully distinguished from its Erdös-Renyi counterpart, and propose concrete test statistics based on hypergraph cycles when the models are distinguishable. Our contributions are summarized as follows. For uniform hypergraphs, we show that successful testing is always impossible when average degree tends to zero, might be possible when average degree is bounded, and is possible when average degree is growing. We obtain asymptotic distributions of the proposed test statistics and analyze their power. Our results for growing degree case are further extended to nonuniform hypergraphs in which a new test involving both edge and hyperedge information is proposed. The novel aspect of our new test is that it is provably more powerful than the classic test involving only edge information. Simulation and real data analysis support our theoretical findings. The proofs rely on Janson's contiguity theory (\cite{J95}) and a high-moments driven asymptotic normality result by Gao and Wormald (\cite{GWALD}).

研究の動機と目的

• 観測されたハイパーグラフにおけるコミュニティ構造の存在という根本的な未解決問題に取り組むこと、すなわち事前にそれを仮定するのではなく。
• コミュニティ構造を有するハイパーグラフとそれらのエドゥーシュ＝レニー（Erdős-Rényi）ランダムな類似物とを区別する統計的仮説検定枠組みを構築すること。
• 有界次数および密度の高い状態の両方の設定において、2コミュニティのm-一様ハイパーグラフにおける識別可能性の鋭い信号対雑音比（SNR）閾値を導出すること。
• 非一様ハイパーグラフへの拡張のために、エッジとハイパーエッジの情報を統合する新しい検定統計量を提案し、検出力の向上を図ること。
• ジャンソンの連続性理論、高次モーメントの漸近正規性、および尤度比分析のための切断技術を用いて、理論的保証を確立すること。

提案手法

• 帰無仮説としてエドゥーシュ＝レニー（Erdős-Rényi）ハイパーグラフを想定し、スティリスティックブロックモデル（SBM）ハイパーグラフと比較する仮説検定を提案する。
• コミュニティ構造が検出可能になるかどうかを決定するハイパーエッジ確率における段階的転移を導出する。
• 2コミュニティのm-一様ハイパーグラフにおいて、有界次数状態における識別可能性のほぼ鋭いSNR閾値を導出する。
• 密度の高い状態では、部分ハイパーグラフカウント（例：3(m-l)-サイクル）に基づく計算的に実行可能な検定を提案し、その漸近正規性を確立する。
• 非一様ハイパーグラフにおける検出力の向上を図るため、エッジとハイパーエッジの情報を統合する新しい検定統計量を導入する。
• ジャンソンの連続性理論と切断技術を用いて尤度比を分析し、帰無仮説および対立仮説の下での漸近的挙動を確立する。

実験結果

リサーチクエスチョン

• RQ1 どのようなハイパーエッジ確率において、コミュニティ構造を有するハイパーグラフがランダムなエドゥーシュ＝レニー（Erdős-Rényi）ハイパーグラフと統計的に区別可能になるか？
• RQ2 有界次数条件下での2コミュニティのm-一様ハイパーグラフにおけるコミュニティ構造の検出に必要な鋭い信号対雑音比（SNR）閾値は何か？
• RQ3 部分ハイパーグラフカウントに基づく計算的に実行可能な検定は、密度の高いハイパーグラフにおいて漸近正規性を達成し、高い検出力を持つことができるか？
• RQ4 非一様ハイパーグラフにおいて、ハイパーエッジの情報を組み込むことで、エッジのみの検定に比べて検出力がどのように向上するか？
• RQ5 ハイパーグラフコミュニティ検証における連続性および尤度比挙動を厳密に分析するために必要な理論的道具は何か？

主な発見

• ハイパーエッジ確率における段階的転移が、コミュニティ構造が統計的に検出可能になる閾値を決定する。
• 有界次数状態では、2コミュニティのm-一様ハイパーグラフにおける識別可能性のほぼ鋭いSNR閾値が導出され、その閾値は $ \frac{(2^{m-1}-1)\kappa}{m(m-1)} $ のスケーリングを示す。
• 密度の高い状態では、提案された部分ハイパーグラフカウント検定が漸近正規性を達成し、サンプルサイズが増加するにつれて検出力が向上する。
• 非一様ハイパーグラフにおけるエッジとハイパーエッジの情報を統合する新しい検定統計量は、エッジのみの検定よりも検出力が優れていることが示された。
• 尤度比検定は、対立仮説の下で一貫性を示し、$ P_1 $ の下では統計量が発散するが、$ P_0 $ の下では有界のまま保たれる。
• 理論的分析により、提案された検定が、信号対雑音比が臨界閾値を超える場合に、コミュニティ構造とランダムネスを区別できることを確認した。この閾値はハイパーグラフの一様性およびモデルパラメータに依存する。