[論文レビュー] Structure and Overlaps of Communities in Networks

Jaewon Yang, Jure Leskovec|arXiv (Cornell University)|May 28, 2012

Complex Network Analysis Techniques参考文献 24被引用数 44

ひとこと要約

本稿では、ノード-コミュニティ所属関係を二部グラフでモデル化することで、現実世界のネットワークの密な重複構造を捉える生成モデルであるCommunity-Affiliation Graph Model (AGM)を紹介する。コミュニティの重複部分は、従来の仮定とは反して、非重複部分よりもより密に接続されていることが明らかになった。また、AGMは、次数分布やクラスタリング係数といった現実のネットワーク特性を再現する点で、最先端のモデルであるLFRを上回る性能を示した。

ABSTRACT

One of the main organizing principles in real-world social, information and technological networks is that of network communities, where sets of nodes organize into densely linked clusters. Even though detection of such communities is of great interest, understanding the structure communities in large networks remains relatively limited. Due to unavailability of labeled ground-truth data it is practically impossible to evaluate and compare different models and notions of communities on a large scale. In this paper we identify 6 large social, collaboration, and information networks where nodes explicitly state their community memberships. We define ground-truth communities by using these explicit memberships. We then empirically study how such ground-truth communities emerge in networks and how they overlap. We observe some surprising phenomena. First, ground-truth communities contain high-degree hub nodes that reside in community overlaps and link to most of the members of the community. Second, the overlaps of communities are more densely connected than the non-overlapping parts of communities, in contrast to the conventional wisdom that community overlaps are more sparsely connected than the communities themselves. Existing models of network communities do not capture dense community overlaps. We present the Community-Affiliation Graph Model (AGM), a conceptual model of network community structure, which reliably captures the overall structure of networks as well as the overlapping nature of network communities.

研究の動機と目的

• コミュニティメンバーシップが明示的に定義された大規模ネットワークを特定し、コミュニティ構造の実証的分析を可能にする。
• グランドトゥースコミュニティの構造的性質、特にコミュニティの重複の性質と接続性を調査する。
• 従来の仮定とは反して、重複部分が非重複部分よりも疎であるとされる仮定に反し、実証的に重複部分がより密接に接続されていることを示す。
• 現実のネットワークにおける観察されたコミュニティ構造と重複パターンを正確に再現できる生成モデルを開発する。
• 現実のネットワークからのグランドトゥースデータを用いて、コミュニティ検出アルゴリズムの評価に役立つ信頼性の高いベンチマークを提供する。

提案手法

• ノードがコミュニティメンバーシップを明示的に示す6つの大規模ネットワーク（LiveJournal, Friendster, Orkut, DBLP, IMDB, Amazon）を特定し、グランドトゥースコミュニティを確立する。
• 一方の側にノード、他方の側にコミュニティを配置した二部グラフを用いてコミュニティ所属関係をモデル化し、エッジが所属関係を表す。
• 2つのノード間のエッジ確率を共有コミュニティ数の関数として定義し、柔軟な重複構造を許容する確率的定式化を採用する。
• 実際のネットワークにおけるコミュニティ構造と重複パターンを再現できる合成ネットワークを生成する生成モデルとして、Community-Affiliation Graph Model (AGM) を提案する。
• 方程式2に示す尤度関数を用いて、コミュニティ所属確率およびエッジ形成確率などのモデルパラメータを推定する。
• 次数分布、クラスタリング係数、固有値分布などの主要なネットワーク特性について、Kolmogorov-Smirnov (KS) 統計量を用いた統計的指標により、AGMとLFRベンチマークを比較評価する。

実験結果

リサーチクエスチョン

• RQ1 現実のネットワークにおけるグランドトゥースコミュニティは、内部接続性や重複性の観点から、どのように相違するか？
• RQ2 コミュニティの重複部分は、非重複部分よりも密接に接続されているか、それとも疎か？
• RQ3 観察されたコミュニティ重複部の高い接続性を説明する背後にある生成プロセスは何か？
• RQ4 現実のネットワークで観察されたコミュニティ構造と重複パターンを正確に再現できる生成モデルを構築できるか？
• RQ5 提案されたAGMモデルは、LFRのような既存のベンチマークと比較して、現実のネットワーク特性をどれほど正確に再現できるか？

主な発見

• 現実のネットワークにおけるグランドトゥースコミュニティには、高次数のハブノードが存在し、それらはコミュニティの重複部に位置し、コミュニティの大多数のメンバーと接続されている。
• 従来の直感とは反対に、コミュニティの重複部分は非重複部分よりもより密に接続されており、重複部の接続性は非重複領域を上回っている。
• AGMモデルはコミュニティ検出性能においてLFRベンチマーク比で60%の相対的改善を達成しており、これは実際のコミュニティ構造をよりよく捉えていることを示している。
• AGMは6つのネットワーク特性のうち5つでLFRを上回っており、次数分布では9%の適合度の向上、クラスタリング係数では221%、三辺参加度では120%、固有値分布では122%の向上を示している。
• AGMは実際のネットワーク特性を非常に正確に再現しており、平均KS統計量差異において、固有ベクトルを除くすべての評価特性でAGMがLFRを上回っている。固有ベクトルではLFRが17%優れている。
• AGMはコミュニティ検出のための現実的なベンチマークを提供し、現実のネットワークからのグランドトゥースデータを用いた新規アルゴリズムの信頼性のある評価を可能にする。