[論文レビュー] Connected Components at Scale via Local Contractions

Jakub Łącki, Vahab Mirrokni+1 more|arXiv (Cornell University)|Jul 27, 2018

Graph Theory and Algorithms参考文献 28被引用数 12

ひとこと要約

この論文では、局所的なエッジ縮約を用いて大規模グラフの連結成分を計算するスケーラブルな分散アルゴリズムであるLocalContractionを紹介する。ランダムグラフにおいては理論的に高確率でO(log log n)ラウンドの複雑さを達成し、標準のO(log n)の境界よりも著しく高速である一方で、実用的な効率性を維持しており、1兆エッジを超えるグラフにおいても、最先端のMapReduceアルゴリズムを20倍以上上回る性能を発揮する。

ABSTRACT

As a fundamental tool in hierarchical graph clustering, computing connected components has been a central problem in large-scale data mining. While many known algorithms have been developed for this problem, they are either not scalable in practice or lack strong theoretical guarantees on the parallel running time, that is, the number of communication rounds. So far, the best proven guarantee is $\Oh(\log n)$, which matches the running time in the PRAM model. In this paper, we aim to design a distributed algorithm for this problem that works well in theory and practice. In particular, we present a simple algorithm based on contractions and provide a scalable implementation of it in MapReduce. On the theoretical side, in addition to showing $\Oh(\log n)$ convergence for all graphs, we prove an $\Oh(\log \log n)$ parallel running time with high probability for a certain class of random graphs. We work in the MPC model that captures popular parallel computing frameworks, such as MapReduce, Hadoop or Spark. On the practical side, we show that our algorithm outperforms the state-of-the-art MapReduce algorithms. To confirm its scalability, we report empirical results on graphs with several trillions of edges.

研究の動機と目的

• MPCモデルにおいて、強固な理論的保証と実用的なスケーラビリティを両立する連結成分の分散アルゴリズムを設計すること。
• 現存するアルゴリズムの実験的成功を説明すること。これらは理論的O(log n)の境界に比べて、しばしば僅か数ラウンドで実行されるが、その理由を解明すること。
• ランダムグラフにおいて対数未満のラウンド複雑さを達成しつつ、通信量と負荷バランスを低く保つ分散アルゴリズムを設計すること。
• 1兆エッジを超えるグラフに対してアルゴリズムを実装・評価し、実世界におけるスケーラビリティを実証すること。

提案手法

• アルゴリズムは、頂点の優先度に基づいてエッジを局所的に縮約することで、反復的にグラフサイズを縮小し、スーパーノードを形成する。
• 各フェーズでは、同じ優先度を持つ頂点間のエッジを縮約し、頂点数とエッジ数を削減しながら連結成分を保持する。
• 重要な最適化として、小さな縮約済みグラフを1台のマシンに送信して、並列結合（union-find）により最終処理を行うことで、通信オーバーヘッドを低減する。
• MPCモデルを活用し、MapReduceに類似したフレームワークを抽象化することで、通信複雑さを低く抑え、良好な負荷バランスを実現する。
• 理論的解析により、すべてのグラフに対してO(log n)の収束が保証され、特定の条件下でランダムグラフに対しては高確率でO(log log n)の複雑さが成立することを証明する。
• 実験的評価では、Large-scale datasetsに対してLocalContractionをCracker、Two-Phase、Hash-To-Min、TreeContractionと比較した。

実験結果

リサーチクエスチョン

• RQ1 単純な縮約ベースのアルゴリズムが、ランダムグラフにおいても対数未満のラウンド複雑さを達成しつつ、実用的な効率性を維持できるか？
• RQ2 実用的アルゴリズム（例：Hash-To-Min）は、理論的O(log n)の境界に比べて著しく優れた性能を示すが、その理由は何か？
• RQ3 大規模グラフにおいて、強固な理論的保証と優れた実験的性能を両立する分散アルゴリズムを設計可能か？
• RQ4 実際の通信複雑さはどの程度か？理論的上界O(m log n)にかかわらず、実世界のグラフでは通信量がO(m)に近いか？

主な発見

• LocalContractionは、ランダムグラフにおいて高確率でO(log log n)のラウンド複雑さを達成し、標準のO(log n)の境界を著しく上回る。
• Friendster や webpages のような大規模グラフにおいて、最先端のMapReduceアルゴリズムを最大20倍以上上回る性能を発揮した。
• 8540億頂点および6兆5千億エッジに達するグラフに対しても、LocalContractionは計算を正常に完了し、連結成分計算のスケール記録を更新した。
• 各フェーズでエッジ数が少なくとも10倍に減少しており、実際の収束速度が速く、通信オーバーヘッドが低いことが示された。
• 理論的通信複雑さがO(m log n)である一方で、実験的結果では実世界のグラフでは通信量がO(m)に近いままであることが確認された。
• 全テストデータセットにおいて、アルゴリズムは2〜5フェーズで完了した。Friendster や Orkut ではわずか2フェーズで完了し、強力なスケーラビリティを示した。