[論文レビュー] Parallel Algorithms for Butterfly Computations

Jessica Shi, Julian Shun|arXiv (Cornell University)|Jul 19, 2019

Advanced Graph Theory Research被引用数 4

ひとこと要約

この論文は、ソート、ハッシュ化、ヒストグラム作成、バッチ処理を用いたソート、ハッシュ化、ヒストグラム作成、バッチ処理によるウェッジ集約を組み合わせ、頂点順序戦略を用いることで、双方向グラフにおける効率的な並列バタフライ計算のためのモジュラフレームワークであるParButterflyを紹介する。最速の逐次アルゴリズムよりも最大13.6倍の高速化を達成し、48コアシステムでは最大38.5倍の自己相対的高速化を実現し、一般の部分グラフカウンティング手法や先行の並列実装を大きく上回る。

ABSTRACT

Butterflies are the smallest non-trivial subgraph in bipartite graphs, and therefore having efficient computations for analyzing them is crucial to improving the quality of certain applications on bipartite graphs. In this paper, we design a framework called ParButterfly that contains new parallel algorithms for the following problems on processing butterflies: global counting, per-vertex counting, per-edge counting, tip decomposition (vertex peeling), and wing decomposition (edge peeling). The main component of these algorithms is aggregating wedges incident on subsets of vertices, and our framework supports different methods for wedge aggregation, including sorting, hashing, histogramming, and batching. In addition, ParButterfly supports different ways of ranking the vertices to speed up counting, including side ordering, approximate and exact degree ordering, and approximate and exact complement coreness ordering. For counting, ParButterfly also supports both exact computation as well as approximate computation via graph sparsification. We prove strong theoretical guarantees on the work and span of the algorithms in ParButterfly. We perform a comprehensive evaluation of all of the algorithms in ParButterfly on a collection of real-world bipartite graphs using a 48-core machine. Our counting algorithms obtain significant parallel speedup, outperforming the fastest sequential algorithms by up to 13.6x with a self-relative speedup of up to 38.5x. Compared to general subgraph counting solutions, we are orders of magnitude faster. Our peeling algorithms achieve self-relative speedups of up to 10.7x and outperform the fastest sequential baseline by up to several orders of magnitude.

研究の動機と目的

• 大規模な双方向グラフにおけるバタフライ計算のための効率的な並列アルゴリズムの不足に取り組み、リンクスパム検出やドキュメントクラスタリングなどの応用において不可欠である。
• 複数の集約戦略（ソート、ハッシュ化、ヒストグラム作成、バッチ処理）と頂点順序戦略（次数、コアネス、サイド順序付け）をサポートするモジュラフレームワークを設計し、パフォーマンス最適化を実現する。
• グラフスパarsificationを用いた正確および近似バタフライカウンティングを可能とし、メモリ効率を向上させるためにキャッシュ最適化されたウェッジリトリーブを統合する。
• 頂点（ティップ）およびエッジ（ウィング）のピーリングアルゴリズムを並列化し、kコア分解と類似した階層的密度の高い部分グラフの抽出を実現する。
• すべてのアルゴリズムについて、作業量とスパンに関する強力な理論的保証を確立し、共有メモリマルチコアアーキテクチャにおける正しさとスケーラビリティを保証する。

提案手法

• 4つの並列集約手法（ソート、ハッシュ化、ヒストグラム作成、バッチ処理）を用いて、頂点ペアに接続するウェッジ（2パス）を集約し、効率的なバタフライカウンティングを実現する。
• 次数順序付け（正確および近似）とコアネス順序付け（正確および近似）による頂点順序戦略を適用し、高影響ウェッジを優先し、重複計算を削減する。
• Sanei-Mehriら[53]のグラフスパースフィケーション技術を統合し、誤差の保証付きで高速な近似バタフライカウンティングを可能にする。
• Cilkスケジューラを活用してウェッジ集約およびピーリングイテレーションにおけるタスク並列化を実現し、負荷分散と低オーバーヘッドを確保する。
• 頂点（ティップ）およびエッジ（ウィング）の並列ピーリングアルゴリズムを実装し、バタフライカウントが最小限の頂点／エッジを反復的に削除し、イテレーション間でカウントを並列に更新する。
• Wangら[65]のキャッシュ最適化されたウェッジリトリーブ戦略を統合し、ウェッジ列挙中のメモリアクセス遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 モジュラで組み合わせ可能なコンponentsを用いて、双方向グラフにおけるグローバル、頂点ごと、エッジごとのバタフライカウンティングのための効率的な並列アルゴリズムを設計できるか？
• RQ2 共有メモリ並列システムにおける、さまざまなウェッジ集約戦略（ソート、ハッシュ化、ヒストグラム作成、バッチ処理）のパフォーマンスおよびスケーラビリティに与える影響は何か？
• RQ3 次数またはコアネス順序付けによる頂点順序戦略は、バタフライカウンティングにおける計算作業量をどの程度削減できるか？
• RQ4 グラフスパースフィケーションによる近似バタフライカウンティングは、大規模グラフにおいて顕著な高速化を達成しながら、精度を維持できるか？
• RQ5 ティップおよびウィング分解の並列ピーリングアルゴリズムは、逐次ベースラインおよび既存の分散ソリューションと比較して、パフォーマンスとスケーラビリティにおいてどの程度優れているか？

主な発見

• ParButterflyのカウンティングアルゴリズムは、最速の逐次ベースラインよりも最大13.6倍の高速化を達成し、48コアマシンでは最大38.5倍の自己相対的高速化を実現し、強力な並列スケーラビリティを示した。
• 特にDeliciousタグ・アイテムグラフのような大規模な実世界の双方向グラフにおいて、一般の部分グラフカウンティングソリューションを桁違いに上回った。
• ピーリングアルゴリズムは最大10.7倍の自己相対的高速化を達成し、最速の逐次ベースラインを複数桁上回り、密度の高い部分グラフ抽出に有効であることを確認した。
• 頂点順序戦略（特に次数および補完コアネス順序付け）と効率的な集約手法の組み合わせが、すべてのテストグラフで実行時間を顕著に短縮した。
• グラフスパースフィケーションにより、最小限の精度損失で高速な近似カウンティングが可能となり、大規模グラフにおけるインタラクティブ分析に実用的であることが示された。
• Wangら[65]のキャッシュ最適化されたウェッジリトリーブの統合により、特にメモリ制限の厳しいワークロードにおいてパフォーマンスがさらに向上した。