[論文レビュー] Parallel Batch-Dynamic $k$-Clique Counting

Laxman Dhulipala, Quanquan C. Liu+2 more|arXiv (Cornell University)|Mar 30, 2020

Complexity and Algorithms in Graphs被引用数 4

ひとこと要約

本稿では、並列高速行列積と組合せ的列挙を活用して、多項式対数的深さと低いアモアタイズドワークトの実現を図る、作業効率が良く並列なバッチ動的$k$-クリークカウントのアルゴリズムを提示する。新規の三角形カウントアルゴリズムは、アモアタイズドワークトが$O(\Delta\sqrt{\Delta+m})$、深さが$O(\log^*(\Delta+m))$であり、密なグラフにおいて既存手法を上回り、72コアシステムで最大74.73倍の高速化を達成する。

ABSTRACT

In this paper, we study new batch-dynamic algorithms for the $k$-clique counting problem, which are dynamic algorithms where the updates are batches of edge insertions and deletions. We study this problem in the parallel setting, where the goal is to obtain algorithms with low (polylogarithmic) depth. Our first result is a new parallel batch-dynamic triangle counting algorithm with $O(Δ\sqrt{Δ+m})$ amortized work and $O(\log^* (Δ+m))$ depth with high probability, and $O(Δ+m)$ space for a batch of $Δ$ edge insertions or deletions. Our second result is an algebraic algorithm based on parallel fast matrix multiplication. Assuming that a parallel fast matrix multiplication algorithm exists with parallel matrix multiplication constant $ω_p$, the same algorithm solves dynamic $k$-clique counting with $O\left(\min\left(Δm^{\frac{(2k - 1)ω_p}{3(ω_p + 1)}}, (Δ+m)^{\frac{2(k + 1)ω_p}{3(ω_p + 1)}} ight) ight)$ amortized work and $O(\log (Δ+m))$ depth with high probability, and $O\left((Δ+m)^{\frac{2(k + 1)ω_p}{3(ω_p + 1)}} ight)$ space. Using a recently developed parallel $k$-clique counting algorithm, we also obtain a simple batch-dynamic algorithm for $k$-clique counting on graphs with arboricity $α$ running in $O(Δ(m+Δ)α^{k-4})$ expected work and $O(\log^{k-2} n)$ depth with high probability, and $O(m + Δ)$ space. Finally, we present a multicore CPU implementation of our parallel batch-dynamic triangle counting algorithm. On a 72-core machine with two-way hyper-threading, our implementation achieves 36.54--74.73x parallel speedup, and in certain cases achieves significant speedups over existing parallel algorithms for the problem, which are not theoretically-efficient.

研究の動機と目的

• 現代のマルチコアアーキテクチャ上で効率的にスケーリングする、$k$-クリークカウントの並列バッチ動的アルゴリズムを設計すること。
• 特に大規模なエッジ挿入・削除バッチに対して、低アモアタイズドワークトと多項式対数的深さを達成すること。
• 並列高速行列積に基づく理論的に効率的なアルゴリズムを設計し、密なグラフにおいて既存の動的アプローチを上回ること。
• 提案されたアルゴリズムを実世界および合成ワークロードで実装・評価し、既存の理論的最適でない手法に実用的に優る性能を示すこと。
• 高レートの動的グラフワークロードにおける逐次的および単一更新動的アルゴリズムの限界を克服し、バッチ処理と並列性を可能にすること。

提案手法

• 頂点次数に基づくワークトの分配とバッチ対応の隣接リスト更新を用いて、重複計算を最小限に抑える並列バッチ動的三角形カウントアルゴリズムを提案する。
• 共通の隣接頂点の変化を追跡し、クリークカウントを段階的に更新することで、エッジ更新をバッチで処理する、作業効率の良い戦略を採用する。
• 並列高速行列積に基づく代数的アプローチを導入し、$k$-クリークカウントのアモアタイズドワークトが$O(\min(\Delta m^{(2k-1)\omega_p/(3(\omega_p+1))}, (\Delta+m)^{2(k+1)\omega_p/(3(\omega_p+1))}))$で抑えられることを保証する。
• 木アーボリシティ$\alpha$を持つグラフに対して低出次数の方向付けを用い、$O(\Delta(m+\Delta)\alpha^{k-4})$の期待ワークトと$O(\log^{k-2}n)$の深さを有する、単純な列挙ベースのバッチ動的$k$-クリークアルゴリズムを設計する。
• 72コアCPU上で三角形カウントアルゴリズムを実装し、メモリアクセスパターンとコア間の負荷分散最適化を図る。
• バッチ内での重複更新（例：挿入-削除ペア）を検出し、不要な計算を削減するハイブリッドアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 並列バッチ動的$k$-クリークカウントアルゴリズムは、多項式対数的深さを維持しつつ、低アモアタイズドワークトを達成できるか？
• RQ2 行列積ベースのアプローチの性能は、グラフの密度とバッチサイズが増加するにつれてどのようにスケーリングするか？
• RQ3 組合せ的・列挙ベースの$k$-クリークカウントアルゴリズムは、理論的効率と実世界グラフにおける実用的高速化を両立できるか？
• RQ4 提案されたアルゴリズムは、特に高次数頂点と密なグラフにおいて、既存の理論的最適でない並列アルゴリズムと比較してどのように性能を発揮するか？
• RQ5 バッチサイズとグラフの密度は、バッチ動的三角形カウントアルゴリズムの性能にどのような影響を及けるか？

主な発見

• 提案された並列バッチ動的三角形カウントアルゴリズムは、高確率で$O(\Delta\sqrt{\Delta+m})$のアモアタイズドワークトと$O(\log^*(\Delta+m))$の深さを達成し、既存の並列バッチ動的手法を著しく上回る。
• ハイパースレービングを備えた72コアマシン上では、実装が36.54〜74.73倍の並列スループットを達成し、すべてのバッチサイズにおいてTwitterグラフで既存の理論的非効率的アルゴリズムを上回る。
• rMAT合成グラフでは、小規模なバッチとより密なグラフにおいて、Makkarら[MBG17]の手法より最大3.31倍の高速化を達成し、その手法が高次数頂点の更新に起因する高コストに起因して性能が低下するのを回避する。
• 並列高速行列積アルゴリズムが定数$\omega_p$を有するものと仮定すれば、行列積ベースのアルゴリズムは、既存の動的アプローチよりも密なグラフにおいて漸近的に速いワークトバウンドを達成する。
• OrkutグラフではMakkarらの手法が低次数頂点のため優れるが、提案されたアルゴリズムはTwitterグラフにおいても高次数頂点を有するため、依然として競争力を持ち、顕著に高速である。
• 提案されたアプローチは、グラフ密度が増加しても性能が安定する一方で、Makkarらの手法は次数依存の更新オーバーヘッドにより性能が低下するため、本手法のロバスト性が示された。