[論文レビュー] Autotuning GPU Kernels via Static and Predictive Analysis

Robert Lim, Boyana Norris+1 more|arXiv (Cornell University)|Jan 30, 2017

Parallel Computing and Optimization Techniques参考文献 13被引用数 5

ひとこと要約

この論文は、PTXコードを解析してスレッドの占有率、制御フローの分岐、リソース使用量を推定することで、実行時の実験を不要にした静的・予測的解析に基づくCUDAカーネルの自動チューニングフレームワークを提示する。この手法により、Orioのような自動チューニングフレームワークにおける探索空間を著しく縮小し、近似的に最適なスレッドおよびブロック構成を正確に予測できる。

ABSTRACT

Optimizing the performance of GPU kernels is challenging for both human programmers and code generators. For example, CUDA programmers must set thread and block parameters for a kernel, but might not have the intuition to make a good choice. Similarly, compilers can generate working code, but may miss tuning opportunities by not targeting GPU models or performing code transformations. Although empirical autotuning addresses some of these challenges, it requires extensive experimentation and search for optimal code variants. This research presents an approach for tuning CUDA kernels based on static analysis that considers fine-grained code structure and the specific GPU architecture features. Notably, our approach does not require any program runs in order to discover near-optimal parameter settings. We demonstrate the applicability of our approach in enabling code autotuners such as Orio to produce competitive code variants comparable with empirical-based methods, without the high cost of experiments.

研究の動機と目的

• 実行時のベンチマークに依存せずに、CUDAカーネルにおける最適なスレッドサイズおよびブロックサイズの選定という課題に対処すること。
• 実行時の実験に伴う高い計算コストを低減するため、カーネルコードの静的解析による予測モデリングを可能にすること。
• アーキテクチャ固有の特徴に基づく自動パラメータチューニングにより、異種コンピューティングにおけるパフォーマンスの移植性と効率性を向上させること。
• 予測モデルを自動チューニングフレームワークに統合し、探索空間の縮小を促進し、最適化を加速すること。
• コードジェネレーターやコンパイラが、占有率、分岐、リソース制約に関する静的インサイトを活用して、高性能なバリアントを生成できるようにすること。

提案手法

• NVIDIAのnvccコンパイラが生成するPTX中間コードを、高レベルのソースコードではなく解析対象とすることで、アーキテクチャ固有の振る舞いを捉える。
• 制御フローグラフ（CFG）を構築し、ワープレベル実行における分岐分岐の影響とパフォーマンス損失を検出および定量化する。
• カーネル構造と問題サイズに基づいてレジスタおよび共有メモリ使用量をモデル化することで、GPUの占有率を推定する。
• カーネル実行なしに、命令ミックス、制御フロー特性、ハードウェアリソース制限を用いてパフォーマンスを予測する。
• 静的アナライザーをOrio自動チューニングフレームワークに統合し、静的インサイトを用いてパrameter空間の探索をガイドする。
• 静的メトリクスを最適化意思決定（例：スレッドブロックサイズ、レジスタ割り当て）に活用し、SMの利用効率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 実行時の実行を伴わず、PTXコードの静的解析がCUDAカーネルの最適なスレッドおよびブロック構成を正確に予測できるか？
• RQ2 静的予測は、実験的手法と比較して、自動チューニングの探索空間をどの程度縮小できるか？
• RQ3 静的解析は、分岐分岐やリソースの未利用といったパフォーマンスボトルネックをどの程度正確に検出および定量化できるか？
• RQ4 静的メトリクスに基づく予測モデルは、自動チューナーが高性能なパラメータバリアントを選択するのをどの程度効果的に支援できるか？
• RQ5 静的解析は、既存の自動チューニングパイプラインに効果的に統合可能で、効率性とスケーラビリティを向上させられるか？

主な発見

• 静的アナライザーは、いかなるカーネル実行を伴わず、CUDAカーネルの近似的に最適なスレッドおよびブロック構成を正確に予測できる。
• 制御フロー、命令ミックス、リソース制約に基づく高精度な予測により、自動チューニングの探索空間が大幅に縮小される。
• Orio自動チューナーとの統合により、静的インサイトを用いたパrameter選択が可能となり、チューニングの効率が顕著に向上する。
• このアプローチは、実行時の自動チューニング手法と同等のパフォーマンスを達成するが、計算コストはその数分のの一にまで削減される。
• 静的解析は、占有率、分岐分岐、リソース使用量を効果的にモデル化でき、GPUカーネルの正確なパフォーマンス予測を可能にする。
• 逐次的な実験的検証とモデルの最適化を通じて、将来的な拡張性を備えており、予測精度の継続的向上が可能となる。