[論文レビュー] An Adaptive Parallel Algorithm for Computing Connectivity.

Chirag Jain, Patrick Flick+3 more|arXiv (Cornell University)|Jul 21, 2016

Graph Theory and Algorithms参考文献 2被引用数 1

ひとこと要約

本論文は、グラフのトポロジーに応じてシャイロアチ＝ビシュキン法と並列BFSの間で動的にルーティングを行う戦略を用いて、大規模な無向グラフにおける連結成分の計算のための適応的でハイブリッドな並列アルゴリズムを提示する。次数分布の分析により最適な手法を予測することで、先行研究比24倍の高速化を達成し、500億エッジを超えるメタゲノムグラフにおいて32,000コアで215秒で実行される。

ABSTRACT

We present an efficient distributed memory parallel algorithm for computing connected components in undirected graphs based on Shiloach-Vishkin's PRAM approach. We discuss multiple optimization techniques that reduce communication volume as well as balance the load to improve the performance of the algorithm in practice. We also note that the efficiency of parallel graph connectivity algorithm depends on the underlying graph topology. Particularly for short diameter graph components, we observe that parallel breadth first search method offers better performance. However, running parallel BFS is not efficient for computing large diameter components or large number of small components. To address this challenge, we employ a heuristic that allows the algorithm to quickly predict the type of the network by computing the degree distribution and follow the optimal hybrid route. Using large graphs with diverse topologies from domains including metagenomics, web crawl, social graph and road networks, we show that our hybrid implementation is efficient and scalable for each of the graph types. Our approach achieves a runtime of 215 seconds using 32K cores of Cray XC30 for a metagenomic graph with over 50 billion edges. When compared against the previous state-of-the-art method, we see performance improvements up to 24x.

研究の動機と目的

• 変動するグラフトポロジーに応じたアルゴリズム選択が不適切であることが原因で生じる並列グラフ連結性アルゴリズムの性能ボトルネックを解消すること。
• 分散メモリシステムにおける通信量の低減と負荷バランスの改善を通じて、スケーラビリティを向上させること。
• 次数分布に基づいて、グラフの各成分がシャイロアチ＝ビシュキン法か並列BFSのどちらに適しているかを予測するヒューリスティックを開発すること。
• メタゲノム、ウェブクロール、ソーシャルネットワーク、道路網を含む多様な実世界のグラフワークロードにおいて、高いパフォーマンスとスケーラビリティを達成すること。

提案手法

• 分散メモリ環境における並列連結性計算のベースラインとして、シャイロアチ＝ビシュキンのPRAMアルゴリズムを採用する。
• グラフのトポロジーに適応するヒューリスティックを導入し、次数分布を計算してグラフの各成分を分類し、最適な連結性アルゴリズムを選択する。
• 予測されたパフォーマンス特性に応じて、成分単位でシャイロアチ＝ビシュキン法と並列BFSの間を動的に切り替える。
• アルゴリズムの最適化とデータ分散戦略を通じて、通信量と負荷バランスを最適化する。
• 短径成分には並列BFSを、長径または小規模な成分クラスタにはシャイロアチ＝ビシュキン法を適用するハイブリッド実行を実装する。
• 500億エッジを超えるグラフの性能評価のため、大規模分散システム（例：Cray XC30）を活用する。

実験結果

リサーチクエスチョン

• RQ1 グラフのトポロジーに応じて、シャイロアチ＝ビシュキン法と並列BFSの間で動的に選択する方法は何か？
• RQ2 異なるグラフ成分に対して最適な連結性アルゴリズムを正確に予測するためのヒューリスティックは何か？
• RQ3 通信量と負荷の不均衡が、並列連結性アルゴリズムのパフォーマンスに与える影響はどの程度か？
• RQ4 ハイブリッドアプローチは、メタゲノム、ウェブクロール、ソーシャルネットワーク、道路網を含む多様な実世界のグラフタイプにおいて、シャイロアチ＝ビシュキン法と並列BFSの個別性能を上回るか？

主な発見

• 本ハイブリッドアルゴリズムは、500億エッジを超えるメタゲノムグラフに対して、Cray XC30の32,000コアで215秒の実行時間を達成した。
• 本手法は、前人最高の手法と比較して最大24倍のパフォーマンス向上を達成した。
• 短径成分では並列BFSがシャイロアチ＝ビシュキン法を上回り、長径または小規模な成分ではシャイロアチ＝ビシュキン法がより効率的である。
• 次数分布に基づくヒューリスティックにより、最適なアルゴリズムの予測が正確に可能となり、不適切な選択による実行時間のオーバーヘッドが削減された。
• ハイブリッドアプローチは、メタゲノム、ウェブクロール、ソーシャルネットワーク、道路網を含む多様なグラフトポロジーにおいて、効率的なスケーリングを実現した。
• アルゴリズムの最適化により、通信量と負荷の不均衡が顕著に低減され、全体のパフォーマンスが向上した。