[論文レビュー] Clique counting in MapReduce: theory and experiments

Irene Finocchi, Marco Finocchi+1 more|arXiv (Cornell University)|Mar 4, 2014

Complex Network Analysis Techniques参考文献 40被引用数 14

ひとこと要約

本稿では、大規模なグラフにおけるkクリークの数え上げに対して、スケーラブルで正確なMapReduceアルゴリズムを初めて提示する。最適な作業量複雑度O(m^{k/2})とO(m^{3/2})の総メモリ使用量を達成し、通信コストがkに依存しない。また、実行時間とメモリ使用量を大幅に削減しながらも高い精度を維持する、非常に正確なサンプリングベースの推定器を導入する。特にkが大きく、密度の高いグラフにおいて顕著な効果を示す。

ABSTRACT

We tackle the problem of counting the number of $k$-cliques in large-scale graphs, for any constant $k \ge 3$. Clique counting is essential in a variety of applications, among which social network analysis. Due to its computationally intensive nature, we settle for parallel solutions in the MapReduce framework, which has become in the last few years a {\em de facto} standard for batch processing of massive data sets. We give both theoretical and experimental contributions. On the theory side, we design the first exact scalable algorithm for counting (and listing) $k$-cliques. Our algorithm uses $O(m^{3/2})$ total space and $O(m^{k/2})$ work, where $m$ is the number of graph edges. This matches the best-known bounds for triangle listing when $k=3$ and is work-optimal in the worst case for any $k$, while keeping the communication cost independent of $k$. We also design a sampling-based estimator that can dramatically reduce the running time and space requirements of the exact approach, while providing very accurate solutions with high probability. We then assess the effectiveness of different clique counting approaches through an extensive experimental analysis over the Amazon EC2 platform, considering both our algorithms and their state-of-the-art competitors. The experimental results clearly highlight the algorithm of choice in different scenarios and prove our exact approach to be the most effective when the number of $k$-cliques is large, gracefully scaling to non-trivial values of $k$ even on clusters of small/medium size. Our approximation algorithm achieves extremely accurate estimates and large speedups, especially on the toughest instances for the exact algorithms. As a side effect, our study also sheds light on the number of $k$-cliques of several real-world graphs, mainly social networks, and on its growth rate as a function of $k$.

研究の動機と目的

• 特にクラスタ係数が高い社会的ネットワークにおいて、大規模グラフにおけるkクリークを効率的に数える課題に対処すること。
• 作業量と通信コストを最小限に抑える理論的に最適なスケーラブルなMapReduceアルゴリズムを設計し、正確なkクリークカウンティングを実現すること。
• 実行時間とメモリ使用量を大幅に削減しながらも高い精度を維持する、サンプリングに基づく近似手法を開発すること。
• 実世界のグラフを用いてAmazon EC2上で正確および近似アルゴリズムを実験的に評価し、さまざまなワークロードとk値における性能のトレードオフを特定すること。

提案手法

• 高次数の頂点に基づいてグラフを分割するMapReduceアルゴリズムを設計。2段階のアプローチを採用：まず、各頂点をその高次数の隣接頂点にマップする。次に、誘導部分グラフ内で(k-1)-クリークを数える。
• 作業量最適化戦略を用い、1レデューサーあたり処理するエッジ数をO(m^{(k-1)/2})に制限し、総メモリ使用量をO(m^{3/2})に保つ。これらはkに依存しない。
• 色分けに基づくサンプリング技術を実装。第2ラウンドで処理する2パス数をp^{k-2}倍削減し、単純なサンプリングに比べて効率性と精度が向上する。
• 再帰的ワークロード配分戦略を導入。大規模な高次数近傍のクリーク数え上げを延期することで、グローバルメモリ使用量を犠牲にして局所的な計算時間を削減する。
• MapReduceの抽象化を活用し、障害耐性、負荷分散、データシャッフルを自動的に処理。アルゴリズム設計に集中できる。
• 確率論の濃縮限界を適用して、サンプリング推定器が高い確率で非常に正確であることを証明。k=3の場合、先行研究より弱い条件で成立するため、理論的保証が向上する。

実験結果

リサーチクエスチョン

• RQ1 kに依存しない通信コストを達成し、最適な作業量複雑度を実現する、スケーラブルで正確なMapReduceアルゴリズムを設計できるか？
• RQ2 精度の損失を最小限に抑えつつ、実行時間とメモリ使用量を大幅に削減できるように、どのようにして効果的にサンプリングを用いることができるか？
• RQ3 さまざまな実世界のグラフとk値において、正確なアルゴリズムと近似アルゴリズムの間の性能のトレードオフは何か？
• RQ4 kが増加し、サンプリング確率が変化する際、サンプリングベースの推定器の精度とスループットはどのようにスケーリングするか？
• RQ5 大規模なグラフや小〜中規模のクラスタにおいて、顕著な性能劣化を伴わずに、アルゴリズムはどの程度スケーラブルに拡張可能か？

主な発見

• 正確なkクリークカウンティングアルゴリズムは、O(m^{k/2})の作業量とO(m^{3/2})の総メモリ使用量を達成。k=3の三角形カウンティングの最良既知の境界と一致し、任意のkに対して作業量最適である。
• 通信コストはkにかかわらずO(m^{3/2}）のまま維持され、従来のマルチウェイジョイン手法とは異なり、kが大きくなるほどよりスケーラブルである。
• 色分けサンプリング推定器は、k=6のsocLiveJ1グラフにおいて、実行時間を最大24倍短縮し、近似誤差はわずか0.61%に抑えられた。
• k=3の場合、PaghとTsourakakisによる先行三角形カウンティング手法よりも弱い確率的条件で成立し、理論的保証が向上した。
• 実世界のグラフ（egoGplusやorkut）において、k=7までスムーズにスケーリングした。近似手法により、正確な計算が数時間かかっていた問題が数分で推定可能となった。
• 実験結果から、実世界のソーシャルネットワークではkが増加するにつれてkクリークの数が急激に増加することが明らかになった。これにより、実用的な解析のための効率的近似手法の重要性が強調された。