[論文レビュー] 8 Steps to 3.7 TFLOP/s on NVIDIA V100 GPU: Roofline Analysis and Other Tricks

Charlene Yang|arXiv (Cornell University)|Aug 26, 2020

Parallel Computing and Optimization Techniques参考文献 15被引用数 8

ひとこと要約

この論文では、階層的ルーフライン解析とNsight Computeを用いて、NVIDIA V100 GPU上で3.7 TFLOP/sの二重精度性能を達成するための8段階の最適化手順を提示する。特にレジスタ使用量の増加、スモールドの低さ、複雑なデータアクセス、長時間遅延命令の影響を受ける問題に焦点を当て、レジスタ制限、ループ再順序化、キャッシュブロッキング、FMA比に配慮したチューニングにより、58%のFMA比に基づくカスタムピークの70%を達成。二重精度HPCカーネル最適化の実用的フレームワークを示している。

ABSTRACT

Performance optimization can be a daunting task especially as the hardware architecture becomes more and more complex. This paper takes a kernel from the Materials Science code BerkeleyGW, and demonstrates a few performance analysis and optimization techniques. Despite challenges such as high register usage, low occupancy, complex data access patterns, and the existence of several long-latency instructions, we have achieved 3.7 TFLOP/s of double-precision performance on an NVIDIA V100 GPU, with 8 optimization steps. This is 55% of the theoretical peak, 6.7 TFLOP/s, at nominal frequency 1312 MHz, and 70% of the more customized peak based on our 58% FMA ratio, 5.3 TFLOP/s. An array of techniques used to analyze this OpenACC kernel and optimize its performance are shown, including the use of hierarchical Roofline performance model and the performance tool Nsight Compute. This kernel exhibits computational characteristics that are commonly seen in many high-performance computing (HPC) applications, and are expected to be very helpful to a general audience of HPC developers and computational scientists, as they pursue more performance on NVIDIA GPUs.

研究の動機と目的

• NVIDIA V100 GPU上で動作するBerkeleyGWコードの二重精度HPCカーネルにおける性能ボトルネックを解消すること。
• 高いレジスタ圧力、複雑なメモリアクセス、長時間遅延命令を抱える科学的カーネルに対して、体系的でステップバイステップの最適化プロセスを示すこと。
• 階層的ルーフライン解析とNsight Computeの有効性を検証し、性能ボトルネックの特定と是正を可能にすること。
• FMA比に基づく現実的な性能上限を確立し、二重精度ワークロードの理論的ピーク推定値を上回る改善を図ること。
• 類似した計算的特性を有する他のHPCアプリケーションに適用可能な移転可能な手法を提供すること。

提案手法

• 算術強度とメモリ帯域幅に関連する性能ボトルネックを特定するため、階層的ルーフライン解析を適用する。
• Nsight Computeを用いて、命令レベル統計とキャッシュヒット率を含む詳細なパフォーマンスメトリクスを収集する。
• コンパイラフラグ（-Mcuda=maxregcount:128）またはOpenACC句（vector_length(512)）を用いてレジスタ使用量を削減し、スモールドを向上させる。
• ループの再順序化により算術強度を向上させ、メモリ階層をより効果的に活用する。
• キャッシュブロッキング（タイリング）を実装し、データ再利用を向上させ、L1/L2キャッシュヒット率を向上させる。
• 長時間遅延命令（例：逆数計算）を短時間遅延の代替命令に置き換えることで、命令レベルの遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 複雑なデータアクセスと高精度算術を有するGPUカーネルに対して、階層的ルーフライン解析を効果的に適用する方法は何か？
• RQ2 レジスタ圧力はGPUのスモールドとパフォーマンスにどのような影響を及ぼし、レジスタスプールのペナルティを過度に増大させることなくどのように緩和できるか？
• RQ3 不規則なメモリアクセスパターンを有するカーネルにおいて、ループ再順序化とキャッシュブロッキングによるパフォーマンス向上の程度はどの程度か？
• RQ4 FMA比は二重精度GPUカーネルの現実的な性能上限にどのように影響を及ぼし、理論的ピーク推定値の補正にどのように利用できるか？
• RQ5 コンパイラレベルのチューニング、アルゴリズム的再構築、およびNsight Computeのようなプロファイリングツールの組み合わせにより、実際のHPCワークロードで一貫して顕著なパフォーマンス向上を達成できるか？

主な発見

• 最適化済みカーネルは、単一のNVIDIA V100 GPU上で3.7 TFLOP/sの二重精度性能を達成し、元の2.3 TFLOP/sから3倍の高速化を実現した。
• 最終的なパフォーマンスは、1312 MHzのノーマル周波数下で理論的FP64ピーク（6.7 TFLOP/s）の55%に達した。
• 測定された58%のFMA比に基づく、より現実的なピーク5.3 TFLOP/sの70%に相当する性能を達成した。
• キャッシュブロッキングとループ再順序化により、Nsight Computeのプロファイリングで確認されたように、L1およびL2キャッシュヒット率が顕著に向上した。
• レジスタ制限により、1SMあたりのスモールドは16から32ワーブに増加したが、レジスタスプールが発生しても、遅延隠蔽の向上がそれを上回った。
• アーキテクチャへの理解（例：FMAの活用）と、Nsight Computeを用いた反復的プロファイリングの組み合わせが、複雑な科学的カーネルでの高性能達成に不可欠であった。