[論文レビュー] SIMD-X: Programming and Processing of Graph Algorithms on GPUs

Hang Liu, H. Howie Huang|arXiv (Cornell University)|Dec 10, 2018

Graph Theory and Algorithms被引用数 15

ひとこと要約

本論文は、プログラミングの簡便さとシステムレベル最適化を分離することで、不規則グラフアルゴリズムの高性能実行を可能にするGPUフレームワークsimd-xを提案する。アクティブ・コンピュート・コンビネーション（ACC）モデルを導入し、ジャストインタイム（JIT）タスク管理と適応フィルタリングによるワークロードバランス、デッドロックのないプッシュ・プルカーネル統合により、カーネル起動回数とメモリトラフィックを削減し、Ligraなどの最先端フレームワークと比較して最大24倍の高速化を達成した。

ABSTRACT

With high computation power and memory bandwidth, graphics processing units (GPUs) lend themselves to accelerate data-intensive analytics, especially when such applications fit the single instruction multiple data (SIMD) model. However, graph algorithms such as breadth-first search and k-core, often fail to take full advantage of GPUs, due to irregularity in memory access and control flow. To address this challenge, we have developed SIMD-X, for programming and processing of single instruction multiple, complex, data on GPUs. Specifically, the new Active-Compute-Combine (ACC) model not only provides ease of programming to programmers, but more importantly creates opportunities for system-level optimizations. To this end, SIMD-X utilizes just-in-time task management which filters out inactive vertices at runtime and intelligently maps various tasks to different amount of GPU cores in pursuit of workload balancing. In addition, SIMD-X leverages push-pull based kernel fusion that, with the help of a new deadlock-free global barrier, reduces a large number of computation kernels to very few. Using SIMD-X, a user can program a graph algorithm in tens of lines of code, while achieving 3?, 6?, 24?, 3? speedup over Gunrock, Galois, CuSha, and Ligra, respectively.

研究の動機と目的

• GPU上での不規則グラフアルゴリズムの性能ボトルネックを解消すること。その要因は不規則なメモリアクセスと制御フローである。
• GPUアーキテクチャの低レベル知識を必要とせずに、グラフワークロードのためのプログラミングを簡素化すること。
• 実行時におけるワークロードバランスやカーネル統合といったシステムレベル最適化を可能にすること。
• GPUグラフ処理におけるカーネル統合時のグローバルソフトウェアバリアでのデッドロック問題を解決すること。
• 最小限のコード量で、多様なグラフアルゴリズムとGPUアーキテクチャにわたる高いパフォーマンスを達成すること。

提案手法

• アクティブ・コンピュート・コンビネーション（ACC）モデルは、グラフアルゴリズムを3つのデータ並列関数に抽象化する：頂点活性化条件、エッジ計算、状態結合。これにより、高水準で直感的なプログラミングが可能になる。
• ジャストインタイム（JIT）タスク管理は、ワークロードサイズに応じてオンラインフィルタとボールォットフィルタのどちらを選ぶかを動的に決定し、メモリ消費量を最小限に抑えつつGPUコア間の負荷をバランスさせる。
• 独創的なデッドロックのないグローバルバリアメカニズムにより、カーネル境界を越えてプッシュおよびプルフェーズを安全に統合可能となり、同期の危険性が解消される。
• プッシュ・プルベースのカーネル統合により、隣接するカーネルを統合することでカーネル起動回数とグローバルメモリトラフィックを削減し、レジスタ使用量とスレッドブロックの再起動回数を最小限に抑える。
• 本フレームワークは、ハードウェアに応じた動的スレッド数設定をサポートしており、K20、K40、P100などの異なるGPUで最高のスループットとパフォーマンスを実現する。
• プログラミング抽象化と低レベル最適化を分離することで、ユーザーは数十行のコードでグラフアルゴリズムを記述しつつ、高いパフォーマンスを達成できる。

実験結果

リサーチクエスチョン

• RQ1 不規則グラフアルゴリズムのGPU実装を性能を損なわずに簡素化する高水準プログラミングモデルをどのように設計できるか？
• RQ2 不規則グラフワークロードにおいて、メモリオーバーヘッドを最小限に抑えつつGPUコア間の負荷を効果的にバランスさせるランタイムタスク管理戦略は何か？
• RQ3 GPUグラフ処理におけるグローバルバリアを越えてカーネル統合を安全に適用する方法は何か？これにより起動オーバーヘッドとメモリトラフィックを削減できる。
• RQ4 オンラインフィルタとボールォットフィルタの適応フィルタリングが、アクティブ頂点リストの構築と全体のパフォーマンスに与える影響は何か？
• RQ5 カーネル統合や動的スレッド設定といったシステムレベル最適化は、多様なグラフアルゴリズムとGPUアーキテクチャにわたって、どの程度パフォーマンスを向上させ得るか？

主な発見

• simd-xは、さまざまなグラフアルゴリズムとデータセットにおいて、Gunrockに比べ最大3倍、Galoisに6倍、CuShaに24倍、Ligraに3倍の高速化を達成した。
• JITタスク管理モジュールは、メモリ消費量の削減とメモリアクセスパターンの改善により、ベースラインシステムに比べ平均16倍のパフォーマンス向上を実現した。
• カーネル統合により、非統合カーネルと比較してレジスタ使用量が50％削減され、設定可能なスレッド数が2倍に増加し、非統合手法に比べ42％、攻撃的統合手法に比べ25％のパフォーマンス向上を達成した。
• P100では5.1倍、K40では1.7倍の高速化を達成したが、K20に比べて、GunrockやCuShaはそれぞれ1.7倍、3.5倍の向上にとどまり、動的スレッド設定のおかげでsimd-xが優位に立った。
• 本フレームワークにより、グラフアルゴリズムを数十行のコードで記述可能となり、CUDAコードで数千行を要する他のシステムと比較して、大幅に複雑さが軽減された。
• デッドロックのないグローバルバリアにより、ソフトウェアバリアを越えて安全にカーネル統合が可能となり、Gunrock や CuSha で長年解決されていなかった問題が解消された。