[論文レビュー] Darwini: Generating realistic large-scale social graphs

Sergey Edunov, Dionysios Logothetis+3 more|arXiv (Cornell University)|Oct 3, 2016

Complex Network Analysis Techniques参考文献 23被引用数 15

ひとこと要約

Darwini は、Apache Giraph を使用して、ブロック単位で頂点中心の方法でグラフを構築することにより、実世界のソーシャルネットワークの主な構造的特性——特に次数分布、局所的クラスタリング係数、および結合次数分布——を正確に再現するスケーラブルでオープンソースの合成グラフ生成ツールである。200ノードのクラスタ上で 7 時間未塔でトレイリオンエッジのグラフを生成し、忠実度とスケーラビリティの面で既存のモデルを上回る。

ABSTRACT

Synthetic graph generators facilitate research in graph algorithms and processing systems by providing access to data, for instance, graphs resembling social networks, while circumventing privacy and security concerns. Nevertheless, their practical value lies in their ability to capture important metrics of real graphs, such as degree distribution and clustering properties. Graph generators must also be able to produce such graphs at the scale of real-world industry graphs, that is, hundreds of billions or trillions of edges. In this paper, we propose Darwini, a graph generator that captures a number of core characteristics of real graphs. Importantly, given a source graph, it can reproduce the degree distribution and, unlike existing approaches, the local clustering coefficient and joint-degree distributions. Furthermore, Darwini maintains metrics such node PageRank, eigenvalues and the K-core decomposition of a source graph. Comparing Darwini with state-of-the-art generative models, we show that it can reproduce these characteristics more accurately. Finally, we provide an open source implementation of our approach on the vertex-centric Apache Giraph model that allows us to create synthetic graphs with one trillion edges.

研究の動機と目的

• 実世界のソーシャルネットワークのコアな構造的指標を正確に再現できる、スケーラブルで高忠実度の合成グラフ生成ツールの不足を解消すること。
• 既存のモデルが細分化されたクラスタリング係数分布および結合次数分布を捉えられていないという制限を克服すること。
• 構造的忠実度を維持しながら、最大でトレイリオンエッジに達する大規模なグラフ生成を可能にすること。
• Facebook のような実世界の産業規模のグラフを模倣する合成グラフを提供することで、システムレベルの研究やベンチマークに貢献すること。
• プライバシー保護の研究を促進するために、重要なネットワーク特性を保持したまま公開可能な合成データセットを提供すること。

提案手法

• Darwini は、スケールフリーな部分グラフを接続することで、ブロック方式でグラフを構築する。BTER モデルをインspired しているが、クラスタリング係数に対する制御を強化している。
• 元のグラフの結合次数分布を明示的にモデル化・保持することで、局所的ネットワーク構造のより正確な表現を可能にする。
• アルゴリズムは Apache Giraph 上の頂点中心のアプローチを採用しており、コンmodity クラスタ上で分散的かつ線形にスケーラブルな生成を実現する。
• グラフ生成を、元のグラフ内の既存のコミュニティ構造に基づいてタスクに分解することで、効率的な並列処理とメモリ管理を可能にする。
• 慎重な構造的マッピングにより、元のグラフの PageRank、固有値、Kコア分解といった重要な指標を維持する。
• 直接的に元のグラフから分布を導出することで、コストの高いモデルフィッティングや手動のパrameterチューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 合成グラフ生成ツールは、実世界のソーシャルネットワークの次数分布、クラスタリング係数分布、および結合次数分布を正確に再現できるか？
• RQ2 スケーラブルで分散型のグラフ生成ツールは、トレイリオンエッジのグラフを生成する際、PageRank や Kコア分解といったグローバル指標をどれほど正確に保持できるか？
• RQ3 提案されたブロックベースの構築手法は、実際の動作において、グラフサイズおよびクラスタサイズの両方に対して線形スケーリングを達成できるか？
• RQ4 Kronecker や BTER、DK-graphs といった最先端のモデルと比較して、Darwini は大規模グラフにおける忠実度とパフォーマンスで優れているか？
• RQ5 この生成ツールは、ディスクバックドまたはメインメモリベースのグラフ処理システムの容量計画やベンチマークに適した合成グラフを生成できるか？

主な発見

• Darwini は、200ノードのクラスタ上で約 7 時間で 1 トレイリオンエッジの合成グラフを生成でき、グラフサイズおよびクラスタサイズに対して線形スケーリングを示した。
• サブグラフ上で検証した結果、生成されたグラフは元の Facebook ソーシャルグラフの次数分布、クラスタリング係数分布、および結合次数分布と非常に近い。
• Kronecker や BTER モデルとは異なり、Darwini は結合次数分布を正確に捉えており、従来のアプローチで見られた歪みを回避している。
• PageRank や固有値、Kコア分解といった重要なグローバル指標を維持しており、局所的性質を超えた構造的忠実度を確保している。
• Apache Giraph 上のオープンソース実装により、コンmodity クラスタ上で簡単にデプロイ・利用可能であり、再現性と大規模な実験を支援する。
• フィッティングやチューニングの高コストを回避しながら、特にクラスタリングと次数相関の面で現実的なネットワーク構造を捉える点で、既存のモデルを上回っている。