[論文レビュー] GPGPU Performance Estimation with Core and Memory Frequency Scaling

Qiang Wang, Xiaowen Chu|arXiv (Cornell University)|Jan 19, 2017

Parallel Computing and Optimization Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、先着順（FCFS）メモリキューモデルと最小限のマイクロベンチマークを用いて、動的コア周波数およびメモリ周波数スケーリング下でのGPUカーネル実行時間の高速かつ高精度な解析的モデルを提案する。12個の実際のGPUカーネルにおける49の周波数設定において、平均絶対誤差（MAPE）は3.5%にとどまり、エネルギー効率の良いDVFS最適化に適した高い精度と低い分散を示している。

ABSTRACT

Graphics Processing Units (GPUs) support dynamic voltage and frequency scaling (DVFS) in order to balance computational performance and energy consumption. However, there still lacks simple and accurate performance estimation of a given GPU kernel under different frequency settings on real hardware, which is important to decide best frequency configuration for energy saving. This paper reveals a fine-grained model to estimate the execution time of GPU kernels with both core and memory frequency scaling. Over a 2.5x range of both core and memory frequencies among 12 GPU kernels, our model achieves accurate results (within 3.5\%) on real hardware. Compared with the cycle-level simulators, our model only needs some simple micro-benchmark to extract a set of hardware parameters and performance counters of the kernels to produce this high accuracy.

研究の動機と目的

• 動的電圧周波数スケーリング（DVFS）下でのGPUカーネルに対する正確でリアルタイムな性能推定の不足に対処すること。
• 現代のGPUアーキテクチャでは遅く古くなったサイクルレベルのシミュレータの限界を克服すること。
• コア周波数およびメモリ周波数の広い範囲において実行時間を予測できる、単一のベースラインマイクロベンチマークのみを用いる軽量なモデルを開発すること。
• コア周波数およびメモリ周波数スケーリングがGPUカーネル実行に与える影響を正確にモデル化することで、リアルタイムのエネルギー・パフォーマンス最適化を可能にすること。

提案手法

• メモリ周波数に依存するサービスレートを持つFCFSキューとしてGPUメモリシステムをモデル化し、メモリアクセスの遅延とスループットを捉える。
• コア周波数スケーリングを統合し、計算中心の実行時間をコア周波数に反比例するものとしてモデル化する。
• パフォーマンスカウンターやハードウェアパラメータを抽出するために、700 MHz（コアおよびメモリ）で実行する単一のベースラインマイクロベンチマークを用いる。
• 命令タイプの分布とメモリアクセスパターンに基づく重み付き和を用いて、コアおよびメモリの時間推定値を統合する。
• L2キャッシュ効果および共有メモリアクセスパターンを補正するため、カーネル固有のプロファイリングデータを用いてモデルをキャリブレーションする。
• 実ハードウェア測定を用いて、NVIDIA GTX980を対象に49の周波数組み合わせ（最大2.5倍のスケーリング）でモデルを検証する。

実験結果

リサーチクエスチョン

• RQ1 軽量な解析的モデルは、広範なコア周波数およびメモリ周波数設定において、GPUカーネル実行時間をどれほど正確に予測できるか？
• RQ2 提案されたモデルは、多様なGPUカーネルにおいて、コアおよびメモリ周波数スケーリングの性能への影響をどの程度正確に捉えられるか？
• RQ3 サイクルレベルのシミュレータや多数のトレーニングデータに依存せずに、高い精度を達成できるか？
• RQ4 メモリ集約的、計算集約的、キャッシュ集約的なワークロードを含む、さまざまなカーネルタイプにおいて、モデルの性能はいかがなっているか？

主な発見

• 提案されたモデルは、実ハードウェア上での12個のGPUカーネルおよび49の周波数設定すべてにおいて、平均絶対誤差（MAPE）が3.5%にとどまる。
• 個々のカーネルでは、MAPEが0.7%から6.9%の間で変動し、多様なワークロードにおいて低分散かつ一貫性のある精度を示している。
• DRAM集約的カーネルにおいても性能スケーリングの挙動を正確に捉えており、高頻度の共有メモリまたはL2キャッシュ使用のカーネルでは誤差がわずかに増加する傾向にある。
• すべての予測で16%未満の誤差を達成しており、90%の予測が10%未満の誤差にとどまっていることから、モデルの強靭性が示された。
• コア周波数およびメモリ周波数の両方で最大2.5倍のスケーリングが加えられても、モデルの精度は維持され、優れた一般化性能を示している。
• 命令分布の分析から、高頻度の共有メモリアクセスを伴うカーネルでは、低予測誤差が顕著に見られ、共有メモリ遅延のモデル化の改善の余地があることが示唆された。