[論文レビュー] Finding Community Structure in Mega-scale Social Networks

Ken Wakita, Toshiyuki Tsurumi|ArXiv.org|Feb 8, 2007

Complex Network Analysis Techniques参考文献 16被引用数 202

ひとこと要約

本稿では、コミュニティ統合のバランスを高めるための統合比ヒューリスティクスを導入することで、CNMコミュニティ検出アルゴリズムの最適化された3つのバリアントを提案する。これによりスケーラビリティとパフォーマンスが顕著に向上し、最速のバリアントは100万ノードのネットワークを5分で処理でき、550万ノードまでスケーリング可能であり、元のCNMアルゴリズムに比べて最大7倍の高速化とモジュラリティの向上を達成した。

ABSTRACT

Community analysis algorithm proposed by Clauset, Newman, and Moore (CNM algorithm) finds community structure in social networks. Unfortunately, CNM algorithm does not scale well and its use is practically limited to networks whose sizes are up to 500,000 nodes. The paper identifies that this inefficiency is caused from merging communities in unbalanced manner. The paper introduces three kinds of metrics (consolidation ratio) to control the process of community analysis trying to balance the sizes of the communities being merged. Three flavors of CNM algorithms are built incorporating those metrics. The proposed techniques are tested using data sets obtained from existing social networking service that hosts 5.5 million users. All the methods exhibit dramatic improvement of execution efficiency in comparison with the original CNM algorithm and shows high scalability. The fastest method processes a network with 1 million nodes in 5 minutes and a network with 4 million nodes in 35 minutes, respectively. Another one processes a network with 500,000 nodes in 50 minutes (7 times faster than the original algorithm), finds community structures that has improved modularity, and scales to a network with 5.5 million.

研究の動機と目的

• 50万ノードを超えると、コミュニティ統合のバランスが取れず性能が著しく低下するという、元のCNMアルゴリズムのスケーラビリティの低さを是正する。
• 階層的クラスタリングプロセス中にコミュニティの統合をバランスよく行うための指標を導入することで、計算効率を向上させる。
• 従来のCNMアルゴリズムでは実行不可能だったメガスケールのソーシャルネットワーク（最大550万ノード）におけるコミュニティ検出を可能にする。
• 異なるヒューリスティクスにおける実行速度、モジュラリティの質、コミュニティ構造の一貫性のトレードオフを評価する。
• 標準的なハードウェアを用いて、実世界のSNSデータに対するコミュニティ分析の実用的妥当性を示す。

提案手法

• 2つのコミュニティを統合する際のバランスの度合いを測る指標として「統合比」を定義する。統合比とは、統合対象の2つのコミュニティのサイズのうち小さい方を大きい方に割った比である。
• HE、HN、HE' の3つのヒューリスティクスを提案する。これらは、モジュラリティの増加と統合比を組み合わせて、統合対象となるコミュニティペアの選択を指針とする。
• 元のCNMアルゴリズムの貪欲な統合ステップを改変し、統合比が高いペアを優先して処理することで、性能を低下させる不均衡な統合を低減する。
• 3つのヒューリスティクスを単一スレッドのJavaプログラムとして実装し、最大550万ノードの実世界のSNSデータセットに対して評価した。
• 得られたコミュニティ構造の品質を評価する主な指標としてモジュラリティを用い、元のCNMアルゴリズムと比較した。
• 実行時間、モジュラリティのトレンド、さまざまなネットワークスケールにおけるコミュニティサイズ分布を用いて、パフォーマンスを分析した。

実験結果

リサーチクエスチョン

• RQ1 元のCNMアルゴリズムにおける不均衡なコミュニティ統合は、大規模ネットワークでのスケーラビリティにどのように制限をもたらすか？
• RQ2 統合比ヒューリスティクスを導入することで、コミュニティ検出アルゴリズムの実行効率はどの程度向上するか？
• RQ3 提案されたヒューリスティクスは、元のCNMアルゴリズムに比べて著しく実行時間を短縮しつつ、モジュラリティを維持または向上させられるか？
• RQ4 異なるヒューリスティクスによって生成されたコミュニティ構造は、モジュラリティおよびコミュニティサイズ分布の観点でどのように比較できるか？
• RQ5 標準的なハードウェア上での提案アルゴリズムのスケーラビリティ上限は何か？また、ネットワークサイズの増加に伴い、どのようにスケーリングするか？

主な発見

• HEヒューリスティクスは、元のCNMアルゴリズムに比べて50万ノードのデータセットで7倍の高速化を達成し、処理時間を350分から50分に短縮した。
• HEヒューリスティクスは、元のCNMアルゴリズムに比べて8～11%のモジュラリティ向上を示し、より高品質なコミュニティ構造であることを示した。
• 最速のバリアントは、100万ノードのネットワークを5分、400万ノードのネットワークを35分で処理でき、優れたスケーリング性能を示した。
• HE' は計算の初期段階で最も高いモジュラリティ向上を示し、早期終了を想定した近似コミュニティ検出に適している可能性がある。
• スケーラビリティ分析の結果、HEおよびHNは550万ノードまでほぼ線形の高速化を示したが、HE' はややスケーリング性能が低下するものの、最大1000万ノードまで処理可能と推定された。
• すべてのヒューリスティクスは類似したパターンのコミュニティ構造を生成した：大規模コミュニティ（1万人以上）は少数、小規模コミュニティ（10人未満）は多数で、中間サイズのコミュニティは最小限に抑えられていた。