[論文レビュー] Optimization of Tensor-product Operations in Nekbone on GPUs

Martin Karp, Niclas Jansson+3 more|arXiv (Cornell University)|May 27, 2020

Parallel Computing and Optimization Techniques参考文献 11被引用数 5

ひとこと要約

この論文では、Nek5000 CFDソルバのプロキシアプリケーションであるNekboneにおけるテンソル積演算を最適化し、CUDAベースの2次元スレッド構造を用いてメモリアクセスパターンを改善し、効率的なループアンローリング、共有メモリの使用、レジスタ最適化を可能にした。実装は、多項式次数9および入力サイズ1024–4096の条件下で、V100およびP100 GPUでピーク性能の77–92％を達成し、以前のGPUバージョンを6–10％上回った。

ABSTRACT

In the CFD solver Nek5000, the computation is dominated by the evaluation of small tensor operations. Nekbone is a proxy app for Nek5000 and has previously been ported to GPUs with a mixed OpenACC and CUDA approach. In this work, we continue this effort and optimize the main tensor-product operation in Nekbone further. Our optimization is done in CUDA and uses a different, 2D, thread structure to make the computations layer by layer. This enables us to use loop unrolling as well as utilize registers and shared memory efficiently. Our implementation is then compared on both the Pascal and Volta GPU architectures to previous GPU versions of Nekbone as well as a measured roofline. The results show that our implementation outperforms previous GPU Nekbone implementations by 6-10%. Compared to the measured roofline, we obtain 77 - 92% of the peak performance for both Nvidia P100 and V100 GPUs for inputs with 1024 - 4096 elements and polynomial degree 9.

研究の動機と目的

• GPUアーキテクチャ上で、Nek5000 CFDソルバのプロキシアプリケーションであるNekboneにおけるテンソル積演算の性能を向上させること。
• OpenACCとCUDAを併用する混合アプローチを採用した従来のNekbone GPU実装に見られる性能制限を克服すること。
• メモリアクセス効率を向上させ、共有メモリやレジスタなどのGPUリソースをより効果的に活用できる代替のスレッドマッピング戦略を検討すること。
• 最新のGPUアーキテクチャ上で、最適化されたカーネルの性能を、以前のGPUバージョンおよび測定済みのルーフラインモデルと比較して評価すること。

提案手法

• テンソル演算を段階的に処理するCUDAベースの実装に2次元スレッド構造を採用し、データ局所性とメモリアクセスパターンを改善した。
• ループのアンローリングを実施し、ループのオーバーヘッドを低減し、命令レベル並列性を向上させた。
• 共有メモリを活用してグローバルメモリアクセスを削減し、スレッド間でのデータ再利用を促進した。
• キーナル設計とデータレイアウトを細心の注意を払って最適化することで、レジスタ圧力を最小限に抑えた。
• テンソル積演算のパターンに適合するようにスレッドブロックに計算をマッピングし、スレッド割り当ての最適化とメモリ帯域幅の最大活用を図った。

実験結果

リサーチクエスチョン

• RQ1 1Dまたは混合アプローチを用いた従来のGPU実装と比較して、2次元スレッドマッピング戦略はNekboneにおけるテンソル積演算の性能をどのように向上させるか？
• RQ2 ループアンローリングと共有メモリ最適化は、スペクトル要素法に適したGPUアクセceleratedテンソル演算において、どの程度の性能向上をもたらすか？
• RQ3 最新のGPUアーキテクチャ（例：VoltaおよびPascal）上での最適化されたカーネルの実現可能な性能は、理論的なルーフラインに対してどの程度か？
• RQ4 本研究の新規実装は、さまざまな問題サイズおよび多項式次数において、以前のNekbone GPUバージョンと比較してどの程度の性能を示すか？

主な発見

• 最適化されたCUDAカーネルは、入力サイズ1024–4096要素および多項式次数9の条件下で、NVIDIA V100およびP100 GPUで理論ピーク性能の77–92％を達成した。
• テストされたすべての構成において、従来のNekbone GPUバージョンを6–10％上回った。
• 2次元スレッド構造により、効果的なループアンローリングと共有メモリ・レジスタのより良い活用が可能となり、性能向上に寄与した。
• 性能向上は、VoltaおよびPascal GPUアーキテクチャの両方で一貫しており、優れた移植性とスケーラビリティを示している。