[論文レビュー] ConnectIt: A Framework for Static and Incremental Parallel Graph Connectivity Algorithms

Laxman Dhulipala, Changwan Hong+1 more|arXiv (Cornell University)|Aug 10, 2020

Graph Theory and Algorithms参考文献 113被引用数 6

ひとこと要約

ConnectIt は、マルチコアシステムにおける静的およびインクリメンタルな並列グラフ連結性を統合的に処理するフレームワークであり、エッジサンプリング、ツリー連結、圧縮戦略を組み合わせて、数百種類のアルゴリズムバリアントを生成する。これは、最先端の実装よりも平均12.4倍の高速化を達成し、72コアで35億頂点、1280億エッジのグラフに対して10秒未満で連結性を計算する。また、インクリメンタルな更新は最大数億エッジ/秒の速度で処理可能である。

ABSTRACT

Connected components is a fundamental kernel in graph applications. The fastest existing parallel multicore algorithms for connectivity are based on some form of edge sampling and/or linking and compressing trees. However, many combinations of these design choices have been left unexplored. In this paper, we design the ConnectIt framework, which provides different sampling strategies as well as various tree linking and compression schemes. ConnectIt enables us to obtain several hundred new variants of connectivity algorithms, most of which extend to computing spanning forest. In addition to static graphs, we also extend ConnectIt to support mixes of insertions and connectivity queries in the concurrent setting. We present an experimental evaluation of ConnectIt on a 72-core machine, which we believe is the most comprehensive evaluation of parallel connectivity algorithms to date. Compared to a collection of state-of-the-art static multicore algorithms, we obtain an average speedup of 12.4x (2.36x average speedup over the fastest existing implementation for each graph). Using ConnectIt, we are able to compute connectivity on the largest publicly-available graph (with over 3.5 billion vertices and 128 billion edges) in under 10 seconds using a 72-core machine, providing a 3.1x speedup over the fastest existing connectivity result for this graph, in any computational setting. For our incremental algorithms, we show that our algorithms can ingest graph updates at up to several billion edges per second. To guide the user in selecting the best variants in ConnectIt for different situations, we provide a detailed analysis of the different strategies. Finally, we show how the techniques in ConnectIt can be used to speed up two important graph applications: approximate minimum spanning forest and SCAN clustering.

研究の動機と目的

• 並列グラフ連結性のための多様なアルゴリズム的組み合わせを体系的かつ柔軟に探索可能な、コンposableなフレームワークの設計。
• 共通メモリアーキテクチャ上での並列マルチコア環境において、静的グラフ連結性と動的インクリメンタル更新（エッジ挿入）の両方をサポートすること。
• 幅広いグラフワークロードとアルゴリズム的バリアントのスケーリングをカバーする包括的なパフォーマンス評価の提供。
• 最適化された連結性プリミティブを用いて、近似最小スパニングフォレストとSCANクラスタリングの2つの重要なグラフ応用を加速すること。
• サンプリング、リンク、圧縮戦略の詳細な分析を通じて、ユーザーが自身のグラフおよびワークロード特性に最適なアルゴリズムバリアントを選択できるようにすること。

提案手法

• 異なるサンプリング戦略、ツリー連結スキーム、パス圧縮技術を統合した、拡張性に優れたモジュラーなアーキテクチャを提供するフレームワークの導入。
• アトミック操作（CAS）とロックベースの同期を用いた複数のユニオンファインド変種をサポートし、並列更新下でも正しさを保証。
• メモリアクセスを削減し、並列実行におけるロードバランスを向上させるために、ホック・コンプレスおよびスプライス・アトミックのパラダイムを採用。
• 後続フェーズで処理するエッジ数を削減するためにエッジサンプリングを活用し、大規模グラフにおけるスケーラビリティを向上。
• 連結性計算中に冗長作業を最小限に抑えるために、早期終了およびショートカット技術を統合。
• 新しいエッジの挿入と高速なクエリ解決を可能にするデータ構造を維持することで、インクリメンタル連結性を実現。

実験結果

リサーチクエスチョン

• RQ1 マルチコアシステムにおける並列グラフ連結性において、どのサンプリング、リンク、圧縮戦略の組み合わせが最高のパフォーマンスを発揮するか？
• RQ2 ConnectItフレームワークは、35億頂点、1280億エッジを超える大規模グラフも含む、多様な実世界のグラフワークロードにおいて、どのようにスケーリングするか？
• RQ3 高スループットのエッジ挿入ワークロード下でも、インクリメンタル連結性を効率的にサポートできるか。そのパフォーマンスの上限は何か？
• RQ4 共有メモリアーキテクチャ上でのパフォーマンスとスケーラビリティの観点から、異なるユニオンファインド変種（例：ホック・コンプレス、リムロック、CASベース）はどのように比較されるか？
• RQ5 ConnectItの最適化された連結性プリミティブは、最小スパニングフォレストやSCANクラスタリングといった上位レベルのグラフ応用を、どの程度高速化できるか？

主な発見

• ConnectIt は、72コアマシン上で、最先端の静的マルチコア連結性アルゴリズムよりも平均12.4倍の高速化を達成した。
• フレームワークは、公開済みで最大のグラフ（35億頂点、1280億エッジ）に対して10秒未満で連結性を計算した。これは、既存で最も速い結果よりも3.1倍の改善である。
• ConnectIt のインクリメンタル連結性アルゴリズムは、数億エッジ/秒の更新レートを維持でき、動的ワークロードにおける高スループットを実証した。
• フレームワークは、異なるサンプリング、リンク、圧縮戦略の組み合わせにより、数百種類の新しいアルゴリズムバリアントを生成でき、その多くはスパニングフォレスト計算に拡張可能である。
• ConnectIt の最適化されたバリアントは、近似最小スパニングフォレストとSCANクラスタリングという2つの実世界の応用を、下位の連結性カーネルの高速化を通じて顕著に加速した。
• 戦略の詳細な分析により、ユーザーは自身のグラフおよびワークロード特性に最適なパフォーマンスを発揮するバリアントを選択できるようになった。