[論文レビュー] Community Structure in Large Networks: Natural Cluster Sizes and the Absence of Large Well-Defined Clusters

Jure Leskovec, Kevin Lang+2 more|ArXiv.org|Oct 8, 2008

Complex Network Analysis Techniques参考文献 122被引用数 36

ひとこと要約

この論文は、大規模なネットワークにおけるコミュニティ構造を分析するためのネットワークコミュニティプロファイル（NCP）プロットを導入し、導出された結果として、導通（conductance）で測定される最適コミュニティは約100ノードまでしか存在せず、それ以上になるとコミュニティは徐々に構造的整合性を失い、拡張子（expander）に類似したコアに『溶け込む』ことが明らかになった。研究では、一般的に用いられるネットワークモデルがこの挙動を再現できないことが判明したが、一方で「森火事（forest fire）」と呼ばれる生成モデルはその挙動を再現できた。

ABSTRACT

A large body of work has been devoted to defining and identifying clusters or communities in social and information networks. We explore from a novel perspective several questions related to identifying meaningful communities in large social and information networks, and we come to several striking conclusions. We employ approximation algorithms for the graph partitioning problem to characterize as a function of size the statistical and structural properties of partitions of graphs that could plausibly be interpreted as communities. In particular, we define the network community profile plot, which characterizes the "best" possible community--according to the conductance measure--over a wide range of size scales. We study over 100 large real-world social and information networks. Our results suggest a significantly more refined picture of community structure in large networks than has been appreciated previously. In particular, we observe tight communities that are barely connected to the rest of the network at very small size scales; and communities of larger size scales gradually "blend into" the expander-like core of the network and thus become less "community-like." This behavior is not explained, even at a qualitative level, by any of the commonly-used network generation models. Moreover, it is exactly the opposite of what one would expect based on intuition from expander graphs, low-dimensional or manifold-like graphs, and from small social networks that have served as testbeds of community detection algorithms. We have found that a generative graph model, in which new edges are added via an iterative "forest fire" burning process, is able to produce graphs exhibiting a network community profile plot similar to what we observe in our network datasets.

研究の動機と目的

• 大規模な実世界ネットワークにおける明確に定義されたコミュニティの自然なサイズ制限を理解すること。
• 従来のネットワーク生成モデルが、大規模ネットワークにおける観察されたコミュニティ構造を再現できない理由を調査すること。
• 大規模グラフにおける複数のサイズスケールにわたるコミュニティの品質を評価するスケーラブルな手法を開発すること。
• 小規模ネットワークや拡張子グラフ理論の仮定に挑戦する、大規模ネットワークの構造的性質を探ること。
• 既存のコミュニティ検出アルゴリズムや近似手法が、大規模ネットワークにおいて信頼性高く高品質なコミュニティを同定できるかどうかを評価すること。

提案手法

• コミュニティサイズの範囲にわたる最良の導通スコアを可視化するためのネットワークコミュニティプロファイル（NCP）プロットを提案する。
• グラフ分割問題の近似アルゴリズムを用いて、各サイズスケールにおける最小導通カットを計算する。
• 導通を用いてコミュニティの品質を評価し、低い導通値がより明確に定義されたコミュニティを示す。
• 数千から数千万ノードにわたる、100を超える大規模な実世界ネットワーク（ソーシャル、ウェブ、技術的グラフを含む）を分析する。
• 火災の拡大プロセスを再帰的に用いてエッジを追加する「森火事（forest fire）」と呼ばれる生成モデルを採用し、コミュニティ構造を模倣し、観察されたNCPプロットの形状を再現する。
• 実際のネットワーク、ランダムグラフモデル、および合成ネットワーク生成モデルの間でNCPプロットの挙動を比較し、構造的差異を特定する。

実験結果

リサーチクエスチョン

• RQ1 大規模な実世界ネットワークにおける明確に定義されたコミュニティの自然なサイズ制限は何か？
• RQ2 大規模ネットワークにおいて、コミュニティサイズの関数として最良のコミュニティ品質（導通による）はどのように変化するか？
• RQ3 なぜ、優先的付加やコピーモデルといった標準的なネットワーク生成モデルが、大規模ネットワークにおける観察されたコミュニティ構造を再現できないのか？
• RQ4 大規模ネットワークのコアがどの程度ネストされたコア・パーソフィア構造を示しており、それがコミュニティ検出にどのように影響するか？
• RQ5 シンプルな生成モデルが、実際のネットワークで観察された上行りのNCPプロット挙動を再現できるか？

主な発見

• 導通で測定される最良のコミュニティ品質は、約100ノードのコミュニティサイズでピークに達し、それ以上になると徐々に劣化する。
• 約100ノードを超えるコミュニティは、徐々にネットワークの拡張子に類似したコアに『溶け込む』ようになり、明確な構造的アイデンティティを失う。
• 約100ノードを超えるサイズではNCPプロットが上行りとなるため、コミュニティサイズと最良のコミュニティ品質の間には概ね逆数関係があると示唆される。
• 観察されたコミュニティ構造は、拡張子グラフ、低次元多様体、およびスモールワールドモデルの予想とは矛盾する。
• 「森火事（forest fire）」生成モデルは、観察されたNCPプロット形状を正確に再現でき、大規模ネットワークにおけるコミュニティ形成の妥当なメカニズムを示唆している。
• 大規模ネットワークのコアはネストされたコア・パーソフィア構造を示しており、小さなコミュニティ（「ひげ」）が密集した、相互に絡み合ったコアに接続されている。