[論文レビュー] Clique Counting in MapReduce: Algorithms and Experiments

Irene Finocchi, Marco Finocchi+1 more|arXiv (Cornell University)|Oct 13, 2015

Complex Network Analysis Techniques参考文献 38被引用数 29

ひとこと要約

本稿では、大規模なグラフにおけるkクリークの数え上げについて、初めての正確でスケーラブルなMapReduceアルゴリズムを提示する。このアルゴリズムは、kに依存しない最適な作業量と通信コストを達成する。また、実行時間とメモリ使用量を著しく削減する高精度なサンプリングベースの推定器を導入し、クリーク数の増加が著しいグラフでは正確な手法を上回る性能を発揮する。

ABSTRACT

We tackle the problem of counting the number qk of k-cliques in large-scale graphs, for any constant k ≥ 3. Clique counting is essential in a variety of applications, including social network analysis. Our algorithms make it possible to compute qk for several real-world graphs and shed light on its growth rate as a function of k. Even for small values of k, the number qk of k-cliques can be in the order of tens or hundreds of trillions. As k increases, different graph instances show different behaviors: while on some graphs qk+1 < qk, on other benchmarks qk+1 qk, up to two orders of magnitude in our observations. Graphs with steep clique growth rates represent particularly tough instances in practice. Due to the computationally intensive nature of the clique counting problem, we settle for parallel solutions in the MapReduce framework, which has become in the last few years a de facto standard for batch processing of massive datasets. We give both theoretical and experimental contributions. On the theory side, we design the first exact scalable algorithm for counting (and listing) k-cliques in MapReduce. Our algorithm uses O(m3/2) total space and O(mk/2) work, where m is the number of graph edges. This matches the best-known bounds for triangle listing when k = 3 and is work optimal in the worst case for any k, while keeping the communication cost independent of k. We also design sampling-based estimators that can dramatically reduce the running time and space requirements of the exact approach, while providing very accurate solutions with high probability. We then assess the effectiveness of different clique counting approaches through an extensive experimental analysis over the Amazon EC2 platform, considering both our algorithms and their state-of-the-art competitors. The experimental results clearly highlight the algorithm of choice in different scenarios and prove our exact approach to be the most effective when the number of k-cliques is large, gracefully scaling to nontrivial values of k even on clusters of small/medium size. Our approximation algorithms achieve extremely accurate estimates and large speedups, especially on the toughest instances for the exact algorithms

研究の動機と目的

• 社会的ネットワーク解析やグラフマイニングにおいて重要な、大規模グラフにおけるkクリークの数え上げという課題に対処すること。
• MapReduceフレームワーク上で、最適な作業量と通信量を満たす、スケーラブルで正確なkクリーク数え上げアルゴリズムを設計すること。
• 計算時間とメモリ使用量を著しく削減しつつ、高い精度を維持するサンプリングベースの推定器を開発すること。
• さまざまな実世界のグラフにおいて正確および近似手法の性能を評価し、グラフの特性に応じた最適な戦略を同定すること。
• kが増加するに従ってkクリーク数の増加がどのように変化するかを理解すること、特にクリーク数の増加率が著しいグラフにおいて注目すること。

提案手法

• 三角形リスト作成（k=3）の既知の最良境界と一致するO(m^3/2)の総メモリ使用量とO(m^k/2)の作業量を達成するMapReduceベースのアルゴリズムを設計。任意のkに対して作業量最適性を達成する。
• 通信コストがkに依存しないようにアルゴリズムを構造化し、kが大きくなる場合でもスケーラビリティを確保する。
• 計算負荷を低減しつつ、高い確率で高い精度を維持するサンプリングベースの推定器を導入する。
• MapReduce抽象化を活用してクラスタ上で計算を分散処理し、数十兆〜数兆個のkクリークを含むグラフの処理を可能にする。
• Amazon EC2上で正確および近似アルゴリズムを実装・評価し、さまざまなグラフワークロード下で最先端の競合手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 kクリーク数え上げを、MapReduceモデルにおいて、最適な作業量と通信量を満たすスケーラブルかつ正確に実現する方法は何か？
• RQ2 さまざまな実世界のグラフにおいて、kクリークの増加率はどのように変化するのか。また、それはアルゴリズムの性能にどのように影響を与えるか？
• RQ3 サンプリングベースの推定器は、kクリーク数え上げにおいて、計算時間とメモリ使用量をどれほど削減しつつも、高い精度を維持できるか？
• RQ4 さまざまなグラフワークロードおよびクラスタサイズにおいて、提案された正確および近似アルゴリズムは実際にはどのように比較されるか？
• RQ5 クリーク数の増加率が著しいグラフでは、正確な数え上げが計算的に不可能になるが、そのような状況でどのアルゴリズムが最も効果的か？

主な発見

• 提案された正確なMapReduceアルゴリズムは、最適な作業量複雑度O(m^k/2)を達成し、通信コストがkに依存しないため、大きなkに対してもスケーラブルである。
• qk+1がqkの約2桁大きいほどに増加するような、クリーク数が急激に増加するグラフでは、小規模〜中規模のクラスタでも正確なアルゴリズムが滑らかにスケーリングする。
• サンプリングベースの推定器は、極めて高い精度の推定を達成し、特に正確なアルゴリズムが苦戦する最も困難なケースで大きな高速化を実現する。
• 実験結果から、kクリーク数が大きい場合、特にk ≥ 4の場合に、正確なアルゴリズムが最先端の競合手法を上回ることが示された。
• 本研究では、異なるグラフが多様なクリーク増加行動を示すことが明らかになった。一部のグラフではqk+1 < qkであり、他ではqk+1 ≫ qkとなる。これは、アルゴリズム選択を適応的に行う必要があることを示唆している。