[論文レビュー] Detecting Overlapping Communities in Networks Using Spectral Methods

Yuan Zhang, Elizaveta Levina+1 more|arXiv (Cornell University)|Dec 10, 2014

Complex Network Analysis Techniques参考文献 45被引用数 45

ひとこと要約

本稿では、ノードが複数のコミュニティに属する状況を想定したネットワークにおける重複コミュニティ検出のためのスペクトル的手法を提案する。ストキャスティックブロックモデルを拡張し、ノードごとに複数のコミュニティ所属を許容することで、K-meansの代わりにスペクトル領域でK-medianクラスタリングを用いる。スパarsityおよび重複の程度がやや厳しい条件下でも漸近的整合性を達成し、シミュレートされたネットワークおよび実世界のネットワークにおいて優れた実験的性能を示す。

ABSTRACT

Community detection is a fundamental problem in network analysis which is made more challenging by overlaps between communities which often occur in practice. Here we propose a general, flexible, and interpretable generative model for overlapping communities, which can be thought of as a generalization of the degree-corrected stochastic block model. We develop an efficient spectral algorithm for estimating the community memberships, which deals with the overlaps by employing the K-medians algorithm rather than the usual K-means for clustering in the spectral domain. We show that the algorithm is asymptotically consistent when networks are not too sparse and the overlaps between communities not too large. Numerical experiments on both simulated networks and many real social networks demonstrate that our method performs very well compared to a number of benchmark methods for overlapping community detection.

研究の動機と目的

• ノードが複数のコミュニティに属する可能性があるネットワークにおける重複コミュニティ検出の課題に取り組む。
• 既存の重複コミュニティモデルを一般化する柔軟で解釈可能な生成モデルを構築する。
• スペクトル領域におけるK-medianクラスタリングを用いて、効率的に重複所属を推定するスケーラブルなスペクトルアルゴリズムを設計する。
• ネットワークのスパarsityおよび制限された重複の程度の下で、この手法の理論的整合性を確立する。
• 合成ネットワークおよび実世界のネットワークデータセットにおいて、ベンチマーク手法と比較して優れた性能を示す。

提案手法

• ノードごとに複数の非ゼロ要素を許容する所属行列を導入することで、ストキャスティックブロックモデルを一般化し、重複コミュニティの生成モデルを提案する。
• グラフラプラシアンまたは隣接行列の固有ベクトルを用いて、ノードを低次元空間に射影することで、隣接行列に対するスペクトルクラスタリングを適用する。
• スペクトル領域における標準的なK-meansクラスタリングの代わりに、重複コミュニティ構造をより適切に扱えるようにK-medianクラスタリングを導入する。
• スペクトル埋め込み空間におけるクラスタ中心への近さに基づき、K-medianアルゴリズムを用いて各ノードを複数のコミュニティに割り当てる。
• 正則性条件の下で、推定された所属行列と真の所属行列の差のフロベニウスノルムをバインドすることで理論的整合性を確立する。
• 行列摂動理論および固有値集中の境界を活用して、スペクトル領域における推定誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityが強いネットワークにおいて、K-medianクラスタリングを用いたスペクトル手法は、重複コミュニティを一貫して検出できるか？
• RQ2 既存のベンチマークアルゴリズムと比較して、本手法の正確性およびロバスト性はどのように異なるか？
• RQ3 ネットワークサイズが増大する際、スペクトルK-median手法が整合性を保つ理論的条件は何か？
• RQ4 本手法は、既知の重複コミュニティ構造を持つ実世界のネットワークにおいて、どのように性能を発揮するか？
• RQ5 K-meansではなくK-medianを用いることで、重複コミュニティ検出の性能はどの程度向上するか？

主な発見

• 本稿で提案するスペクトルK-medianアルゴリズムは、ネットワークがあまりスパースでなく、コミュニティ間の重複が有界である限り、重複コミュニティ検出において漸近的整合性を達成する。
• 調整ランダムインデックスなどのクラスタリング指標を用いた評価において、本手法はシミュレートされたネットワークおよび実世界のソーシャルネットワークにおいて、ベンチマーク手法を顕著に上回る性能を示す。
• 理論的分析により、所属行列の推定誤差が $ O((nar{ u}_n)^{-1/5}) $ のレートで減少することが示された。ここで $ n $ はノード数、$ ar{ u}_n $ は平均次数を表す。
• スペクトル領域におけるK-medianクラスタリングの導入により、特に重複所属が存在する状況において、K-meansよりも高いコミュニティ回復精度が得られる。
• ノードの次数が不均一であっても、コミュニティ間の重複が中程度である限り、本手法はロバスト性を保つ。
• 実験的結果により、アルゴリズムのスケーラビリティが高く、ソーシャルネットワークやコラボレーショングラフなどの実世界データセットにおいて、解釈可能な重複コミュニティ構造を効果的に抽出できることが確認された。