[論文レビュー] Power and Energy-efficiency Roofline Model for GPUs

Millad Ghane, Jeff Larkin+3 more|arXiv (Cornell University)|Sep 24, 2018

Parallel Computing and Optimization Techniques参考文献 10被引用数 6

ひとこと要約

本稿は、GPUカーネルの電力消費とエネルギー効率を含めるように伝統的なルーフラインモデルを拡張し、計算性能とメモリ性能のそれぞれを示す2つの視覚的モデルを導入する。性能の上限を用いて最適化のトレードオフを可視化する。主な貢献は、最適化戦略が性能とエネルギー効率に与える影響を評価できる統合フレームワークを提供することであり、GPUワークロードにおける電力制限型と計算制限型の動作を明らかにする。

ABSTRACT

Energy consumption has been a great deal of concern in recent years and developers need to take energy-efficiency into account when they design algorithms. Their design needs to be energy-efficient and low-power while it tries to achieve attainable performance provided by underlying hardware. However, different optimization techniques have different effects on power and energy-efficiency and a visual model would assist in the selection process. In this paper, we extended the roofline model and provided a visual representation of optimization strategies for power consumption. Our model is composed of various ceilings regarding each strategy we included in our models. One roofline model for computational performance and one for memory performance is introduced. We assembled our models based on some optimization strategies for two widespread GPUs from NVIDIA: Geforce GTX 970 and Tesla K80.

研究の動機と目的

• HPC分野におけるエネルギー効率の高いアルゴリズム設計の需要に対応するため、パフォーマンスモデリングに電力とエネルギー効率を組み込むこと。
• 古典的なルーフラインモデルを拡張し、電力とエネルギー効率を第一義的な指標として導入し、純粋なパフォーマンスの上限にとどまらないこと。
• 開発者に、最適化戦略が電力消費とエネルギー効率に与える影響を可視化するフレームワークを提供すること。
• 実際のGPUアーキテクチャ（GTX 970 および Tesla K80）を用いて、パフォーマンス、電力、エネルギー効率の間のトレードオフを示すこと。
• 最適化によって性能を損なわずにエネルギー効率を最大化する戦略を特定できるように、意思決定を支援すること。

提案手法

• 著者らは、浮動小数点演算（W）、メモリ操作（Q）およびそれらのエネルギーコスト（ε_flop, ε_mem）に基づくエネルギー消費の数学的モデルを導出し、電力（P）およびエネルギー効率（EE）の式を導出する。
• 2つのルーフラインモデルを導入する：1つは計算性能（FLOP/s）を介して電力（P）とエネルギー効率の逆数（1/EE）の関係を示し、もう1つはメモリ帯域幅（BW）を介してPとメモリエネルギー効率（E/Q）の関係を示す。
• モデル内の上限（ceilings）は、データローカリティの向上、メモリコalescing、計算最適化などの最適化技術を表し、それぞれが特定の電力およびエネルギー制約下でのパフォーマンス上限を定義する。
• モデルはピーク電力（P_peak）を上限として用い、計算ではP = min{(E/W) × π, P_peak}、メモリではP = min{(E/Q) × BW, P_peak}の関係を用い、電力とエネルギー効率を結びつける。
• このアプローチは、2つのNVIDIA GPU（GTX 970 および Tesla K80）を用いて検証され、測定されたパフォーマンスおよびエネルギーデータを用いて視覚的なルーフライン表現を構築した。
• モデルにより、カーネルが計算制限型か電力制限型かを視覚的に特定でき、エネルギー効率を最大化する最適化戦略の選定を支援する。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンス、電力、エネルギー効率のトレードオフを、1つのモデリングフレームワーク内で計算性能およびメモリ性能とともに可視化する方法は何か？
• RQ2 GPUカーネルにおける電力消費を管理しつつ、エネルギー効率を最も顕著に向上させる最適化技術は何か？
• RQ3 異なる最適化戦略が、GPUワークロードにおけるパフォーマンス、電力、エネルギー効率のトレードオフにどのように影響を与えるか？
• RQ4 入力データサイズが、GPUカーネルにおけるエネルギー効率と電力消費に与える影響はどの程度か？
• RQ5 統合されたルーフラインモデルは、低消費電力で高効率な最適化戦略の選定を効果的に支援できるか？

主な発見

• 提案されたルーフラインモデルは、電力消費とエネルギー効率のトレードオフを効果的に可視化でき、カーネルが電力制限型か計算制限型かを特定するのに役立つ。
• データローカリティの向上やメモリコalescingなどの最適化技術により、カーネルはメモリ制限型領域から計算制限型領域にシフトし、エネルギー効率が向上する。
• モデルは、データサイズがエネルギー効率（1ジュールあたりのFLOP数）に影響しない一方で、運用負荷の増加に伴い電力消費に顕著な影響を与えることを明らかにした。
• ルーフラインモデルにおける上限ラインは、特定の最適化戦略によって引き起こされるパフォーマンス制限を明確に可視化し、アルゴリズムチューニングのための明確な視覚的ガイドを提供する。
• ピーク電力（P_peak）は電力消費の硬い上限として機能し、運用強度に応じてパフォーマンスは計算制限またはメモリ制限のいずれかによって制限されることがモデルで示された。
• パフォーマンス、電力、エネルギー効率を1つのフレームワークに統合することで、開発者は高いパフォーマンスを維持しつつ低エネルギー消費を実現する意思決定を効果的に行えるようになった。