[論文レビュー] Parallel Generation of Massive Scale-Free Graphs

Andy Yoo, K.W. Henderson|arXiv (Cornell University)|Mar 18, 2010

Complex Network Analysis Techniques参考文献 29被引用数 15

ひとこと要約

本論文は、数十億の頂点と辺を有するスケールフリーなグラフを生成する、非常にスケーラブルな並列アルゴリズム2つ——並列 Barabasi-Albert (PBA) および並列 Kronecker (PK)——を提案する。プロセッサ間通信を最小限に抑え、優先的付加とKronecker行列乗算を活用することで、高い並列性を達成し、10億頂点、50億辺のグラフを13秒未塔で生成した。これは、これまでに報告された中で最大の合成スケールフリー・グラフである。

ABSTRACT

One of the biggest huddles faced by researchers studying algorithms for massive graphs is the lack of large input graphs that are essential for the development and test of the graph algorithms. This paper proposes two efficient and highly scalable parallel graph generation algorithms that can produce massive realistic graphs to address this issue. The algorithms, designed to achieve high degree of parallelism by minimizing inter-processor communications, are two of the fastest graph generators which are capable of generating scale-free graphs with billions of vertices and edges. The synthetic graphs generated by the proposed methods possess the most common properties of real complex networks such as power-law degree distribution, small-worldness, and communities-within-communities. Scalability was tested on a large cluster at Lawrence Livermore National Laboratory. In the experiment, we were able to generate a graph with 1 billion vertices and 5 billion edges in less than 13 seconds. To the best of our knowledge, this is the largest synthetic scale-free graph reported in the literature.

研究の動機と目的

• 大規模グラフアルゴリズムのテストおよび開発に必要な、大規模で現実的である入力グラフの不足を解消すること。
• 数十億の頂点と辺にスケーリングできない、従来の逐次的グラフ生成モデルの限界を克服すること。
• 大規模分散クラスタ上で高いスケーラビリティを達成できるよう、プロセッサ間通信を最小限に抑えた並列グラフ生成アルゴリズムを設計すること。
• べき乗則に従う次数分布、スモールワールド性、コミュニティ内のコミュニティ構造といった、現実の複雑ネットワークの主要な特性を再現する合成グラフを生成すること。
• 実用的な時間制約のもとで、これまでに報告された中で最大の合成スケールフリー・グラフを生成する可能性を実証すること。

提案手法

• 下位から上位へ段階的に成長する高並列性を有する2段階の優先的付加メカニズムを用いる並列 Barabasi-Albert (PBA) 法を提案。
• 初期グラフのKronecker行列乗算を再帰的に適用することでグラフを構築する並列 Kronecker (PK) 法を開発。計算が著しく並列化可能である。
• 両アルゴリズムとも、大規模分散クラスタ上で高いスケーラビリティを確保できるよう、プロセッサ間通信を最小限に抑える設計を採用。
• PK法においては、小さなサイズの初期グラフ（例：2×2 または 3×3）を用い、再帰的Kronecker積の展開により大規模グラフを生成。
• 性能評価時の計算負荷を軽減するため、経路長および直径の推定にサンプリング技術を適用。
• 隣接行列表現を用いてコミュニティ構造を可視化し、生成されたグラフにおけるモジュラリティおよび自己相似性を分析。

実験結果

リサーチクエスチョン

• RQ1 プロセッサ間通信を最小限に抑えつつ、数十億の頂点と辺にスケーリング可能な並列グラフ生成アルゴリズムを設計できるか？
• RQ2 PBAおよびPK法によって生成された合成グラフは、現実の複雑ネットワークの主要構造的特性（べき乗則に従う次数分布、スモールワールド性など）を再現するか？
• RQ3 初期グラフの選択が、Kroneckerベースのグラフ生成法の構造的特性およびスケーラビリティに与える影響は何か？
• RQ4 提案された並列アルゴリズムは、既存の逐次的モデルよりも高速にグラフを生成できるか？また、大規模クラスタ上での最大生成レートはどの程度達成可能か？
• RQ5 PBAおよびPK法は、現実のネットワークに類似した階層的コミュニティ構造をどの程度再現するか？

主な発見

• 提案された並列グラフ生成器は、ローレンス・リバモア国立研究所の大型クラスタ上で、10億頂点および50億辺を13秒未塔で生成し、ピーク生成レートを10億超えを達成した。
• PBAおよびPK法によって生成された合成グラフは、べき乗則に従う次数分布を示し、スケールフリー性が確認された。
• PBAおよびPK両方のグラフはスモールワールド性を示し、平均経路長がそれぞれ約6.26および3.20、直径が12および5であった。これは、ノード間の典型的な距離が短いことを示している。
• PKグラフはKronecker行列乗算のフラクタル的性質により、より規則的で自己相似的なコミュニティ構造を示したが、PBAグラフはやや不規則ではあるが、依然として識別可能なコミュニティ構造を有していた。
• PK法はその「ありきたりに並列化可能な」設計ゆえに、より高い並列性を達成した。一方、PBA法は頂点次数分布などのグラフ特性を制御する上で、より高い設定の柔軟性を提供した。
• PBA法はPK法よりも遅いが、望みの構造的特性を持つグラフを生成する上で、より柔軟性に優れていた。