[論文レビュー] Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU

Jonathan Passerat‐Palmbach, Jonathan Caux+3 more|arXiv (Cornell University)|Jan 7, 2015

Parallel Computing and Optimization Techniques参考文献 2被引用数 4

ひとこと要約

本論文は、CUDAベースのアプローチとして、各ステージ的シミュレーションの反復を独立したGPUワープに割り当てるWarp-Level Parallelism (WLP)を提案する。これにより、分岐分岐を回避し、GPUの利用率を最大化する。ワープレベルの独立性を活用することで、WLPは従来のSIMT実行に比べ最大6倍の高速化を達成し、ステージ的シミュレーションにおける複数反復の並列実行を顕著に加速する。

ABSTRACT

Stochastic simulations need multiple replications in order to build confidence intervals for their results. Even if we do not need a large amount of replications, it is a good practice to speed-up the whole simulation time using the Multiple Replications In Parallel (MRIP) approach. This approach usually supposes to have access to a parallel computer such as a symmetric mul-tiprocessing machine (with many cores), a computing cluster or a computing grid. In this paper, we propose Warp-Level Parallelism (WLP), a GP-GPU-enabled solution to compute MRIP on GP-GPUs (General-Purpose Graphics Processing Units). These devices display a great amount of parallel computational power at low cost, but are tuned to process efficiently the same operation on several data, through different threads. Indeed, this paradigm is called Single Instruction, Multiple Threads (SIMT). Our approach proposes to rely on small threads groups, called warps, to perform independent computations such as replications. We have benchmarked WLP with three different models: it allows MRIP to be computed up to six times faster than with the SIMT computing paradigm.

研究の動機と目的

• CPU上で複数反復を実行する際の性能ボトルネックを解消すること。
• 特に分岐分岐が生じる異なる実行パスにおける従来のSIMT実行の制限を克服すること。
• GPUワープを独立した計算ユニットとして使用し、複数の独立した反復を効率的かつ高スループットで実行すること。
• WLPがステージ的シミュレーションにおいて、CPUベースおよびSIMTベースのGPU実装を顕著に上回ることを示すこと。
• MRIPをGPU加速シミュレーションワークロードに統合するための最小限のオーバーヘッドで、高水準の抽象化を提供すること。

提案手法

• 各シミュレーション反復を別個のGPUワープにマッピングし、独立した実行を保証するとともに、ワープ内での分岐分岐を回避する。
• 実行時におけるワープ識別子を計算して、各ワープがどの反復を実行するかを決定する。
• 低レベルのスレッド管理を抽象化し、コードの移植性を向上させるために、高水準のCUDAマクロを用いてWLPを実装する。
• シミュレーションカーネルを設計し、各ワープが異なる乱数ストリーム上で同じアルゴリズムを独立して実行できるようにする。
• 各ワープごとの最適化されたデータアクセスパターンにより、不要な読み書きを減らし、グローバルメモリアクセスを最小限に抑える。
• Fermi GPUアーキテクチャの改善されたキャッシュおよびメモリ階層を活用し、コード変更なしにパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 分岐分岐の影響を受けない独立したシミュレーション反復を、GPUワープを効果的に使用して実行できるか？
• RQ2 ステージ的シミュレーションにおける複数反復の実行において、WLPは従来のSIMTベース実行と比べてどの程度性能が優れているか？
• RQ3 SIMTアプローチと比較して、WLPはグローバルメモリアクセスのオーバーヘッドをどの程度低減できるか？
• RQ4 十分な数の反復（≥30）を実行する場合、WLPはCPUおよびSIMT GPU実行に比べて顕著な高速化を達成できるか？
• RQ5 GPUデバイスにおけるモデルの複雑さとメモリ消費量の増加に伴い、WLPはどの程度スケーリングするか？

主な発見

• WLPは、同じGPUハードウェア上で、ステージ的シミュレーションにおける複数反復の実行について、従来のSIMT実行に比べ最大6倍の高速化を達成する。
• WLPでは、グローバルメモリアクセス時間と計算時間の比がSIMTと比較して2.5倍低く、より優れたメモリ効率を示す。
• ランダムウォークモデルにおいて、WLPではグローバルメモリの読み込み回数を225回から18回、書き込み回数を302回から104回にまで削減し、メモリ帯域幅の圧力を顕著に低減する。
• 30回以上の反復を計算する際、WLPは最新鋭のCPUを2倍以上の要因で上回る性能を発揮し、信頼区間の要件を満たす中央極限定理の条件を満たす。
• 独立したワープスケジューリングにより、GPUの未利用リソースを効果的に低減し、利用率を向上させる。
• 将来のCUDAアーキテクチャにおいて、特に新しいGPUのメモリサブシステムの向上に伴い、パフォーマンス向上の余地がさらに大きくなると予想される。