[論文レビュー] Optimizing performance per watt on GPUs in High Performance Computing: temperature, frequency and voltage effects

Danny C. Price, M. A. Clark+3 more|arXiv (Cornell University)|Jul 30, 2014

Satellite Communication Systems参考文献 20被引用数 9

ひとこと要約

この論文は、NVIDIA K20 GPUの低ドライブ温度下で供給電圧を低下させ、クロック周波数を増加させることで、GPUのパフォーマンス・パワーエフェクティビティを最大48%向上させることを示している。このアプローチは、温度に配慮した電圧・周波数スケーリング（T-DVFS）を活用し、物理的トランジスタ動作を活用する。動的消費電力は電圧および温度に二次関数的に比例するため、HPCおよび電波天文観測ワークロードで顕著なエネルギー節約が可能になる。

ABSTRACT

The magnitude of the real-time digital signal processing challenge attached to large radio astronomical antenna arrays motivates use of high performance computing (HPC) systems. The need for high power efficiency (performance per watt) at remote observatory sites parallels that in HPC broadly, where efficiency is an emerging critical metric. We investigate how the performance per watt of graphics processing units (GPUs) is affected by temperature, core clock frequency and voltage. Our results highlight how the underlying physical processes that govern transistor operation affect power efficiency. In particular, we show experimentally that GPU power consumption grows non-linearly with both temperature and supply voltage, as predicted by physical transistor models. We show lowering GPU supply voltage and increasing clock frequency while maintaining a low die temperature increases the power efficiency of an NVIDIA K20 GPU by up to 37-48% over default settings when running xGPU, a compute-bound code used in radio astronomy. We discuss how temperature-aware power models could be used to reduce power consumption for future HPC installations. Automatic temperature-aware and application-dependent voltage and frequency scaling (T-DVFS and A-DVFS) may provide a mechanism to achieve better power efficiency for a wider range of codes running on GPUs

研究の動機と目的

• GPUベースのHPCシステムにおける温度、電圧、クロック周波数がパフォーマンス・パワーエフェクティビティに与える影響を調査すること。
• パワーバジェットが制限されるエクサスケールコンピューティングおよび遠隔観測所の展開において、エネルギー効率の向上という重要な課題に取り組むこと。
• 特に制御された熱的条件下で、動的電圧・周波数スケーリング（DVFS）がGPUのエネルギー効率に与える影響を評価すること。
• 低ドライブ温度下で供給電圧を低下させ、クロック周波数を増加させることで、パフォーマンス・パワーエフェクティビティを顕著に向上させられることを実証すること。
• HPCシステム全体のエネルギー効率を向上させるために、温度に配慮したおよびアプリケーションに依存するDVFS（T-DVFSおよびA-DVFS）の統合を提唱すること。

提案手法

• ドライブ温度を制御した状態で、NVIDIA K20 GPUのパフォーマンス・パワーエフェクティビティを、さまざまなコアクロック周波数および供給電圧の下で測定した。
• 水冷却システムを用いて低ドライブ温度（最低30°C）を達成・維持し、熱的制限が発生しない状態で低電圧動作を可能にした。
• xGPUコード（計算負荷の高い電波天文観測用相関演算カーネル）を適用し、異なる電圧および周波数設定下でのパフォーマンスと消費電力の評価を実施した。
• システム消費電力を動的電力と静的（リーク）電力の合計としてモデル化し、動的電力が電圧および周波数に二次関数的に比例することを確認した。
• 冷却消費電力を含めたシステム全体の効率指標η_pow = N_OPS / (P_sys + P_cool + ...) を定式化し、冷却消費電力も含めたシステム全体のパフォーマンス・パワーエフェクティビティ最適化を実施した。
• 冷却システムの効率が与える影響を評価するため、水冷却と標準のファン冷却の消費電力を比較し、インfra構造の消費電力が削減されたことを示した。

実験結果

リサーチクエスチョン

• RQ1 制御された温度条件下で、供給電圧およびコアクロック周波数がGPUのパフォーマンス・パワーエフェクティビティに与える影響は何か？
• RQ2 低ドライブ温度を維持した状態で電圧を低下させ、周波数を増加させることで、パフォーマンス・パワーエフェクティビティはどの程度向上できるか？
• RQ3 冷却消費電力を効率指標に含めた場合、最大のパフォーマンス・パワーエフェクティビティを達成する最適な設定はどのように変化するか？
• RQ4 温度が、GPUアーキテクチャにおける低電圧動作とエネルギー効率の向上を可能にする役割は何か？
• RQ5 温度に配慮したおよびアプリケーションに依存する電圧・周波数スケーリング（T-DVFSおよびA-DVFS）は、多様なHPCワークロードにおいて自動的にエネルギー効率を最適化するために使用可能か？

主な発見

• NVIDIA K20 GPUは、ドライブ温度を30°Cに維持した状態で、低電圧かつ高クロック周波数で動作させることで、パフォーマンス・パワーエフェクティビティが最大48%向上した。
• 動的消費電力は、供給電圧および温度の両方に二次関数的に比例し、物理的トランジスタモデルと整合的であった。
• 冷却消費電力を含めたシステムレベルのパフォーマンス・パワーエフェクティビティ指標は、低ドライブ温度が低電圧動作を可能にし、より高い効率を実現できることを示した。
• 水冷却は、標準のファン冷却と比較してインfra構造の消費電力を削減し、全体のシステムエネルギー効率を向上させる寄与を示した。
• 本研究では、従来のデータセンターの高冷却温度に関する報告とは相違する結果が得られた。PUEに依存する一般的なデータセンターとは異なり、HPCシステムでは電圧スケーリングの恩恵を受けるため、冷却温度を低く保つことがエネルギー効率向上に寄与する。PUEだけではこの点を捉えきれない。
• アプリケーション固有で温度に配慮した動的電圧・周波数スケーリング（T-DVFS）は、熱的およびワークロード状態に応じて自動的に電圧と周波数を調整することで、エネルギー効率を顕著に向上させることができる。