[論文レビュー] Dynamic Load Balancing Strategies for Graph Applications on GPUs

Ananya Raval, Rupesh Nasre+4 more|arXiv (Cornell University)|Nov 1, 2017

Graph Theory and Algorithms参考文献 15被引用数 4

ひとこと要約

本論文は、不規則なワークロードによるパフォーマンス劣化を解消するため、GPU上のグラフアプリケーション向けに3つの動的ロードバランシング戦略——ワークロード分解、ノード分割、階層的ワーキーリスト——を提案する。エッジベースのロードバランシングとノードベースの構造を組み合わせ、動的なワークロード分配に適応することで、大規模なグラフにおいて実行時間を最大75%短縮し、静的ノードおよびエッジベースのアプローチを上回る性能を発揮する。

ABSTRACT

Acceleration of graph applications on GPUs has found large interest due to the ubiquitous use of graph processing in various domains. The inherent extit{irregularity} in graph applications leads to several challenges for parallelization. A key challenge, which we address in this paper, is that of load-imbalance. If the work-assignment to threads uses node-based graph partitioning, it can result in skewed task-distribution, leading to poor load-balance. In contrast, if the work-assignment uses edge-based graph partitioning, the load-balancing is better, but the memory requirement is relatively higher. This makes it unsuitable for large graphs. In this work, we propose three techniques for improved load-balancing of graph applications on GPUs. Each technique brings in unique advantages, and a user may have to employ a specific technique based on the requirement. Using Breadth First Search and Single Source Shortest Paths as our processing kernels, we illustrate the effectiveness of each of the proposed techniques in comparison to the existing node-based and edge-based mechanisms.

研究の動機と目的

• 不規則で偏ったノード次数によるGPUアクセceleratedグラフアプリケーションにおけるロードバランシングの不均衡が引き起こすパフォーマンスボトル neck を解消すること。
• ロードバランシングが悪化するか、メモリオーバーヘッドが高くなるという欠点を持つ、静的ノードベースおよびエッジベースのタスク配分の限界を克服すること。
• グラフアルゴリズム実行中に変化するワークロードに応じて適応的に反応する動的かつ柔軟なロードバランシング戦略を開発すること。
• さまざまなグラフタイプとカーネル（BFS、SSSP）を対象に戦略を評価し、文脈依存的な最適なアプローチを同定すること。
• 限られたメモリを備えたGPU上で大規模なグラフワークロードを効率的に実行可能にするために、メモリフットプリントを最小限に抑えつつロードバランシングを最大化すること。

提案手法

• ワークロード分解は、アクティブなノードからのエッジをスレッドに割り当てる。エッジレベルのロードバランシングとノードレベルの構造を統合することで、メモリオーバーヘッドを低減する。
• ノード分割は、高次数のノードを動的に複数の低次数の仮想ノードに分解し、スレッド間での作業をより均等に分散する。
• 階層的処理は、メインのワーキーリストと動的に作成されるサブワーキーリストを用い、スレッド間での負荷をバランスさせる。サブワーキーリストのサイズに応じてスレッド数を調整する。
• これらの戦略はLoneStar-GPUフレームワークに統合され、実世界および合成グラフを用いたBFSおよびSSSPカーネルで評価された。
• ノード分割戦略における最適な仮想ノード数を自動的に特定するための新規ヒューリスティックが提案され、手動チューニングを回避する。
• すべての手法はCSRグラフ形式と互換性を持たせ、COOベースのエッジ処理と比較してメモリオーバーヘッドを最小限に抑えるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 不規則なグラフにおいて、ワークロード分解は、従来のノードベースおよびエッジベースのタスク配分と比較して、ロードバランシングとパフォーマンスの点でどのように異なるか？
• RQ2 ノード分割は、高次数ノードを有するグラフにおいて、どれほどロードバランシングの不均衡を軽減できるか？また、仮想ノードアプローチと比較してどうか？
• RQ3 エッジベースの方法がメモリ制約のため失敗するような大規模なグラフにおいて、階層的ワーキーリスト処理はロードバランシングの不均衡を効果的に管理できるか？
• RQ4 直径や次数分布などのグラフ特性（例：直径、次数分布）において、それぞれの提案戦略が静的ロードバランシング手法を上回る条件は何か？
• RQ5 計算集約的なグラフカーネル（例：SSSP）において、動的ロードバランシングのパフォーマンスへの影響は、ベースライン実装と比較してどの程度か？

主な発見

• エッジベース処理は、BFSではベースライン比10%のパフォーマンス向上を達成し、SSSPでは60–80%の向上を示した。これは、負荷が均等に分散されるワークロードにおいて優位性を示している。
• 小径のグラフでは、ワークロード分解が他のノードベース戦略を上回り、標準的なノードベース割り当てよりも優れたロードバランシングを達成した。
• 大径のグラフでは、ノード分割がノードベース戦略の中で最高のパフォーマンスを発揮し、高次数ノードに起因するロードバランシングの不均衡を低減した。
• 階層的処理法は、エッジベース手法がメモリ制約のため失敗するような非常に大きなグラフにおいて、ベースライン比48–75%の実行時間短縮を達成した。
• 単一の戦略がすべてのケースで他を上回るわけではない。パフォーマンスはグラフタイプやアルゴリズムによって顕著に変動し、文脈に応じた選択の重要性が示された。
• 提案戦略は、ベースラインのノードベース手法が深刻なロードバランシングの不均衡に苦しむSSSPにおいて顕著な性能向上を示し、すべての動的戦略で少なくとも20%の向上が得られた。