[論文レビュー] Investigating Warp Size Impact in GPUs

Ahmad Lashgar, Amirali Baniasadi+1 more|arXiv (Cornell University)|May 22, 2012

Parallel Computing and Optimization Techniques参考文献 14被引用数 3

ひとこと要約

この論文は、メモリコalescingを強化した小スレッドブロック（SW+）と、分岐分岐を緩和するMIMD風の制御フロー機構を備えた大スレッドブロック（LW+）を有する2つのGPU設計を比較することで、GPUパフォーマンスに与えるスレッドブロックサイズの影響を調査している。著者らの結論では、コalescing強化型小スレッドブロックGPUが、制御フロー最適化型大スレッドブロックGPUを上回る性能を示し、小スレッドブロックに改善されたメモリアクセスを組み合わせることが、より効果的な設計戦略であることが示された。

ABSTRACT

There are a number of design decisions that impact a GPU's performance. Among such decisions deciding the right warp size can deeply influence the rest of the design. Small warps reduce the performance penalty associated with branch divergence at the expense of a reduction in memory coalescing. Large warps enhance memory coalescing significantly but also increase branch divergence. This leaves designers with two choices: use a small warps and invest in finding new solutions to enhance coalescing or use large warps and address branch divergence employing effective control-flow solutions. In this work our goal is to investigate the answer to this question. We analyze warp size impact on memory coalescing and branch divergence. We use our findings to study two machines: a GPU using small warps but equipped with excellent memory coalescing (SW+) and a GPU using large warps but employing an MIMD engine immune from control-flow costs (LW+). Our evaluations show that building coalescing-enhanced small warp GPUs is a better approach compared to pursuing a control-flow enhanced large warp GPU.

研究の動機と目的

• GPUアーキテクチャにおけるスレッドブロックサイズ、メモリコalescing、分岐分岐のトレードオフを分析すること。
• 小スレッドブロックにメモリコalescingを強化した場合と、大スレッドブロックに高度な制御フロー処理を実装した場合のパフォーマンスへの影響を評価すること。
• 大スレッドブロック向けの制御フロー最適化よりも、小スレッドブロック向けのメモリコalescing改善に投資するほうが、より効果的かどうかを特定すること。
• SW+（小スレッドブロック、コalescing最適化）とLW+（大スレッドブロック、MIMDベースの制御フロー）の2つの仮想GPU設計を比較すること。

提案手法

• 著者らは、解析的モデルとシミュレーションを用いて、スレッドブロックサイズがメモリコalescingと分岐分岐に与える影響を分析した。
• 彼らは、SW+（小スレッドブロックにメモリコalescingを強化）とLW+（大スレッドブロックにMIMD風実行により制御フローのペナルティを低減）の2つのGPUアーキテクチャを設計・評価した。
• 評価には技術報告書と代表的なワークロードを対象としたシミュレーションベースのパフォーマンス比較を用いた。
• 本研究では、異なるスレッドブロックサイズにおける分岐分岐の影響とメモリコalescing効率を定量的に評価することに焦点を当てた。
• 著者らは理論的分析とパフォーマンスモデリングを組み合わせ、2つのGPU設計を比較した。

実験結果

リサーチクエスチョン

• RQ1 スレッドブロックサイズは、GPUアーキテクチャにおけるメモリコalescing効率にどのように影響するか？
• RQ2 大スレッドブロックと小スレッドブロックにおける分岐分岐のパフォーマンスへの影響は何か？
• RQ3 小スレッドブロックのメモリコalescing強化と大スレッドブロックの制御フロー処理改善のどちらが、より優れた全体的なGPUパフォーマンスをもたらすか？
• RQ4 優れたメモリコalescingを備えた小スレッドブロックGPUは、高度な制御フロー機構を備えた大スレッドブロックGPUを上回るパフォーマンスを発揮できるか？

主な発見

• 小スレッドブロックにメモリコalescingを強化したSW+設計は、大スレッドブロックにMIMD風制御フロー処理を備えたLW+設計を上回る性能を示した。
• 小スレッドブロックは分岐分岐のペナルティを低減し、効果的なメモリコalescingと組み合わせることで、パフォーマンスが顕著に向上した。
• 小スレッドブロックにおけるメモリコalescingの向上によるパフォーマンス向上は、大スレッドブロックにおける制御フローのオーバーヘッド低減の利点を上回った。
• 本研究の結論として、小スレッドブロック向けにメモリコalescing最適化に投資することは、大スレッドブロック向けに制御フロー強化に投資するよりも、より効果的な設計戦略であるとされた。