[論文レビュー] Parallel Correlation Clustering on Big Graphs

Xinghao Pan, Dimitris Papailiopoulos+4 more|arXiv (Cornell University)|Jul 17, 2015

Complex Network Analysis Techniques参考文献 20被引用数 43

ひとこと要約

本稿では、大規模なグラフに対して、証明可能に近線形な高速化を達成するとともに、強力な近似保証を維持する2つの並列相関クラスタリングアルゴリズム、C4 および ClusterWild! を提案する。C4 は排他制御を用いて 3-近似比を保証するが、ClusterWild! は一貫性を犠牲にしてスケーラビリティを高め、最小限の精度損失で (3+ε) 近似を達成し、32コア上で10億エッジのグラフを5秒未塔でクラスタリング可能にしている。

ABSTRACT

Given a similarity graph between items, correlation clustering (CC) groups similar items together and dissimilar ones apart. One of the most popular CC algorithms is KwikCluster: an algorithm that serially clusters neighborhoods of vertices, and obtains a 3-approximation ratio. Unfortunately, KwikCluster in practice requires a large number of clustering rounds, a potential bottleneck for large graphs. We present C4 and ClusterWild!, two algorithms for parallel correlation clustering that run in a polylogarithmic number of rounds and achieve nearly linear speedups, provably. C4 uses concurrency control to enforce serializability of a parallel clustering process, and guarantees a 3-approximation ratio. ClusterWild! is a coordination free algorithm that abandons consistency for the benefit of better scaling; this leads to a provably small loss in the 3-approximation ratio. We provide extensive experimental results for both algorithms, where we outperform the state of the art, both in terms of clustering accuracy and running time. We show that our algorithms can cluster billion-edge graphs in under 5 seconds on 32 cores, while achieving a 15x speedup.

研究の動機と目的

• KwikCluster のような逐次的相関クラスタリングアルゴリズムは多くのラウンドを要し、大規模グラフに対しては現実的でないというスケーラビリティのボトルネックを解消すること。
• マルチコアシステム上で近線形な高速化を達成しつつも、強力な理論的近似保証を維持する並列相関クラスタリングアルゴリズムの設計。
• 並列クラスタリングにおける一貫性とパフォーマンスのトレードオフを調査し、一貫性を保証する（C4）および協調不要な（ClusterWild!）両アプローチを提案すること。
• 実世界の大規模グラフ上で提案手法を評価し、最新の手法と実行時間、精度、スケーラビリティの観点から比較すること。

提案手法

• C4 は、並列 KwikCluster に類似した剥離プロセスにおいて可串性を保証する排他制御を採用し、逐次アルゴリズムと同一の 3-近似比を保証する。
• ClusterWild! は、同期なしの協調不要な非同期アプローチを採用し、同期をとらずに同時に頂点を剥離可能であり、わずかな精度損失を犠牲にして著しい高速化を達成する。
• 両アルゴリズムとも、多対数時間のラウンド数で動作し、大規模グラフへの効率的なスケーリングを可能にする。
• 理論的分析により、ClusterWild! は「ノイズのある」グラフ上で動作する逐次的 KwikCluster の変種と見なされ、(3+ε)OPT + O(ε·n·log²n) の近似保証が得られる。
• マルチコア環境における共有グラフ状態の管理に、アトミック演算およびスレッドセーフなデータ構造を用いる。
• 実験的評価では、複数の実世界のグラフ上で実行時間、高速化比、同期コスト、クラスタリング目的関数値を測定して性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 マルチコアシステム上で近線形な高速化を達成しつつ、KwikCluster の 3-近似比を維持できる並列相関クラスタリングアルゴリズムを設計できるか？
• RQ2 並列クラスタリングにおける一貫性とパフォーマンスのトレードオフは何か？また、証明可能な近似保証を有する協調不要なアルゴリズムを設計できるか？
• RQ3 提案手法は 10億エッジのグラフ上でどのようにスケーリングするか？32コアで15倍の高速化を達成し、5秒未塔のクラスタリング時間を達成できるか？
• RQ4 ClusterWild! で一貫性を放棄することで、逐次ベースラインと比較してクラスタリング精度がどの程度低下するか？
• RQ5 実行時間、精度、同期オーバーヘッドの観点から、既存の最新の並列相関クラスタリング手法と比較して、提案手法はどのように差をつけるか？

主な発見

• C4 および ClusterWild! は、10億エッジのグラフをクラスタリングする際、32コアで最大15倍の高速化を達成し、5秒未塔で完了した。
• ClusterWild! は、同期のオーバーヘッドがないため C4 よりも一貫して高速であり、非同期バージョンはBSP対比で優れた性能を示した。
• BSPアルゴリズムにおける同期ラウンド数は、ε値が高くなるにつれて著しく減少し、ε=0.9 の場合、1000ラウンド未満にまで低下した。
• C4 は最小限のブロッキングオーバーヘッドを発生させ、ブロッキングされた頂点の割合が 0.2% 未塔であり、大規模でスパースなグラフでは 0.02% 未塔だった。
• ClusterWild! は、逐次的 KwikCluster と比較して、クラスタリング目的関数値で最大1%の相対的損失にとどまり、非同期バージョンでは一部のグラフで最大15%の低下が観測された。
• 先行する並列手法 CDK は、C4 や ClusterWild! よりも2〜3桁遅く、小規模なグラフでは目的関数値も悪かった。