[論文レビュー] Fast Generation of Large Scale Social Networks with Clustering

Joseph J. Pfeiffer, Timothy La Fond+2 more|arXiv (Cornell University)|Feb 22, 2012

Complex Network Analysis Techniques参考文献 16被引用数 8

ひとこと要約

本稿では、転送的エッジを組み込んだ Chung-Lu ランダムグラフモデルの拡張版である Transitive Chung Lu (TCL) モデルを提案する。このモデルは、元の次数分布を保ちながら、現実的なクラスタリングを有する大規模なソーシャルネットワークを生成可能であり、線形時間で高速な学習と生成が可能である。1つの転送的エッジ形成パラメータを導入することで、TCL は Chung-Lu モデルおよび Kronecker モデルを凌駕し、次数分布、クラスタリング係数、ホッププロットといった実世界のネットワーク特性を良好に再現する。

ABSTRACT

A key challenge within the social network literature is the problem of network generation - that is, how can we create synthetic networks that match characteristics traditionally found in most real world networks? Important characteristics that are present in social networks include a power law degree distribution, small diameter and large amounts of clustering; however, most current network generators, such as the Chung Lu and Kronecker models, largely ignore the clustering present in a graph and choose to focus on preserving other network statistics, such as the power law distribution. Models such as the exponential random graph model have a transitivity parameter, but are computationally difficult to learn, making scaling to large real world networks intractable. In this work, we propose an extension to the Chung Lu ran- dom graph model, the Transitive Chung Lu (TCL) model, which incorporates the notion of a random transitive edge. That is, with some probability it will choose to connect to a node exactly two hops away, having been introduced to a 'friend of a friend'. In all other cases it will follow the standard Chung Lu model, selecting a 'random surfer' from anywhere in the graph according to the given invariant distribution. We prove TCL's expected degree distribution is equal to the degree distribution of the original graph, while being able to capture the clustering present in the network. The single parameter required by our model can be learned in seconds on graphs with millions of edges, while networks can be generated in time that is linear in the number of edges. We demonstrate the performance TCL on four real- world social networks, including an email dataset with hundreds of thousands of nodes and millions of edges, showing TCL generates graphs that match the degree distribution, clustering coefficients and hop plots of the original networks.

研究の動機と目的

• 既存のネットワーク生成手法が大規模なソーシャルネットワークにおけるクラスタリングを捉えきれていないという限界に対処すること。
• Chung-Lu モデルに転送的エッジ形成を組み込むことで、スケーラビリティを損なわずにクラスタリング表現を向上させること。
• 数百万エッジを持つグラフにおいて、数秒で転送性パラメータを推定する学習アルゴリズムを開発すること。
• 実世界のネットワークと類似した次数分布、クラスタリング、ホッププロットを有する合成ネットワークを生成すること。
• TCL モデルがクラスタリングの忠実度を向上させつつも、小径と連結性を維持していることを示すこと。

提案手法

• Chung-Lu モデルを拡張し、『ランダムな三角形』パラメータを導入することで、エッジが与えられた確率で転送的閉包（友人の友人）によって形成されるようにする。
• ナイーブな高速 Chung-Lu 生成アルゴリズムにおけるエッジ衝突バイアスを、洗練されたサンプリング手順によって是正する。
• 期待値最大化（EM）アルゴリズムを用いて、観測されたネットワークから転送性パラメータを推定し、高速なパrameter 学習を可能にする。
• 生成時間を O(M) に保つ（M はエッジ数）、これにより元の Chung-Lu モデルと同等の効率性を達成する。
• ハイブリッドサンプリング戦略を採用：確率 p で、モデルは三角形を閉じるための転送的エッジに従う。それ以外の場合は、不変分布（ランダムサーファー・モデル）に従ってノードを選択する。
• Epinions、Facebook、PurdueEmail、Gnutella30 といった実世界のネットワークを用いて、多様なネットワーク構造における性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルなネットワーク生成モデルは、次数分布を保ちながらも、クラスタリング表現を著しく向上させることができるか？
• RQ2 Chung-Lu モデルに転送的エッジ形成を統合することで、生成効率が低下しないようにできるか？
• RQ3 単一の転送性パラメータを導入することで、合成ネットワーク生成の精度にどのような影響を与えるか？
• RQ4 TCL モデルは、Chung-Lu モデルや Kronecker Product Graph Model と比較して、クラスタリングとホッププロットをどれほど正確に再現できるか？
• RQ5 数百万エッジを持つ大規模ネットワークにおいて、転送性パラメータを数秒で効率的に学習できるか？

主な発見

• TCL モデルは、元のネットワークの期待次数分布を正確に保持しており、Chung-Lu モデルの理論的性質をそのままで再現する。
• TCL モデルは、実世界のネットワークと類似したクラスタリング係数の分布を生成するが、Chung-Lu モデルや Kronecker モデルはクラスタリングを再現できない。
• TCL が生成するネットワークのホッププロットは、元のネットワークおよび標準的な Chung-Lu モデルとほとんど区別がつかないため、接続性や直径に劣化がないことが示された。
• TCL のパrameter 推定は、数百万エッジを持つグラフにおいて数秒で完了するが、Kronecker Product Graph Model では数時間もかかる。
• Epinions、Facebook、PurdueEmail、Gnutella30 の4つの実世界ネットワークすべてにおいて、TCL モデルは Chung-Lu モデルおよび Kronecker モデルを上回り、次数分布、クラスタリング、ホッププロットの再現性に優れている。
• TCL モデルは、クラスタリング度が非常に低いネットワーク（例：Gnutella30）を含め、さまざまなクラスタリングレベルのネットワークのクラスタリング行動を成功裏に捉え、ネットワークタイプにかかわらず強靭性を示した。