[論文レビュー] Beyond Triangles: A Distributed Framework for Estimating 3-profiles of Large Graphs

Ethan R. Elenberg, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Jun 22, 2015

Graph Theory and Algorithms被引用数 7

ひとこと要約

本論文は、大規模グラフにおける3プロファイル（すべての誘導3ノード部分グラフのカウント）を効率的に推定する分散型でサンプリングに基づくフレームワークを提案する。3プロファイルスパーシファイアとエッジピボットを導入することで、分散システム上で並列にグローバル、ローカル、エゴ3プロファイルをスケーラブルかつ正確に計算可能となり、正確な集中性の境界を保証する三角形カウントレベルのパフォーマンスを達成する。

ABSTRACT

We study the problem of approximating the $3$-profile of a large graph. $3$-profiles are generalizations of triangle counts that specify the number of times a small graph appears as an induced subgraph of a large graph. Our algorithm uses the novel concept of $3$-profile sparsifiers: sparse graphs that can be used to approximate the full $3$-profile counts for a given large graph. Further, we study the problem of estimating local and ego $3$-profiles, two graph quantities that characterize the local neighborhood of each vertex of a graph. Our algorithm is distributed and operates as a vertex program over the GraphLab PowerGraph framework. We introduce the concept of edge pivoting which allows us to collect $2$-hop information without maintaining an explicit $2$-hop neighborhood list at each vertex. This enables the computation of all the local $3$-profiles in parallel with minimal communication. We test out implementation in several experiments scaling up to $640$ cores on Amazon EC2. We find that our algorithm can estimate the $3$-profile of a graph in approximately the same time as triangle counting. For the harder problem of ego $3$-profiles, we introduce an algorithm that can estimate profiles of hundreds of thousands of vertices in parallel, in the timescale of minutes.

研究の動機と目的

• 巨大グラフにおいて正確な計算が非現実的であるため、すべての誘導3ノード部分グラフのカウントである3プロファイルを効率的に推定する課題に対処すること。
• 3プロファイル推定を保持する高確率で正確なサンプリング方式を開発し、グラフサイズを縮小するが、鋭い集中性の境界を用いて理論的保証を提供すること。
• 通信オーバーヘッドを最小限に抑えて、ローカルおよびエゴ3プロファイルを並列に計算する分散アルゴリズムを設計すること。
• コンmodityクラスタを用いて、実世界のグラフにおいてスケーラブルかつ高性能な3プロファイル計算を可能にすること。

提案手法

• 3プロファイルスパーシファイアを導入：ランダムなエッジサンプリングによって得られるスパース部分グラフで、高確率で3プロファイルカウントを保持する。
• 各頂点に2ホップリストを明示的に格納せずに、2ホップ近傍情報収集を可能にする新しいエッジピボット機構を採用する。
• GraphLab PowerGraphフレームワーク内でのGather-Apply-Scatterモデルを用いて、すべての頂点におけるローカル3プロファイルの並列計算を実現する。
• エッジピボット式とローカルクリークカウントを組み合わせることで、分散環境下でエゴ3プロファイルを効率的に計算する。
• KimとVuによる多次元多項式に関する研究に基づく集中不等式を、変数変換を介して3プロファイルに含まれる完全正の項でない項に対しても拡張して適用する。
• サンプリング確率 $p$ を用いた不偏推定量を導出し、誤差境界に関する理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 エッジサブサンプリングを用いて、3プロファイルの正確なスパース表現（3プロファイルスパーシファイア）を構築できるか？
• RQ2 分散システム上で、各頂点ごとの部分グラフ参加カウントを効率的かつ並列に計算するにはどうすればよいか？
• RQ3 数十万の頂点にわたるエゴ3プロファイル推定（頂点近傍の3プロファイル）のスケーラビリティと正確性はどの程度か？
• RQ4 提案されたフレームワークは、3プロファイル情報のより豊富な推定を実現しつつ、三角形カウントと同等のパフォーマンスを達成できるか？

主な発見

• 提案された3-profアルゴリズムは、グローバル3プロファイルを真値に非常に近い正確性で推定しており、図12の誤差バーから、さまざまなグラフとサンプリング確率において誤差比が常に1.0に近いことが示されている。
• Ego-parアルゴリズムは、640コアのクラスタ上で最大480万頂点のエゴ3プロファイルを数分で計算可能であり、コア数の増加に伴い強い線形スケーラビリティを示している。
• Ego-parは、大規模なエゴ集合に対して、ナードなシリアルEgo-serアルゴリズムを桁違いに上回り、エゴ頂点数の増加に伴って実行時間がほぼ一定に保たれている。
• Ego-parはAWS EC2およびAsterixクラスタの両方で効率的にスケーリングされ、より多くのマシンを追加するにつれて実行時間が短縮される。一方、Ego-serはネットワーク使用量の増加により性能が低下する。
• エッジピボットにより、通信量を最小限に抑えながら効率的な2ホップ情報収集が可能となり、明示的な2ホップ近傍格納なしにローカル3プロファイルの並列計算が実現できる。
• グローバル3プロファイル推定において、4つの誘導3ノード部分グラフを追跡するという複雑性の増加にもかかわらず、三角形カウントと同等のパフォーマンスを達成している。