[論文レビュー] High-Order Discontinuous Galerkin Methods by GPU Metaprogramming

Andreas Klöckner, Tim Warburton+1 more|arXiv (Cornell University)|Nov 2, 2012

Numerical methods for differential equations被引用数 1

ひとこと要約

本論文は、実行時コード生成（RTCG）を用いるPythonベースのメタプログラミングフレームワークを活用し、GPU上で高パフォーマンスな不連続ガラーキン（DG）法を実装する手法を提示している。これにより、効率的でポータブルかつ高度に最適化されたカーネル生成が可能となり、消費用途向けGPUでは理論ピーク性能の最大25％を達成し、多項式次数N=9でほぼ4テラフロップス/秒の性能を発揮する。これは大規模な偏微分方程式（PDE）シミュレーションにおけるスケーラビリティと計算効率を顕著に向上させる。

ABSTRACT

Discontinuous Galerkin (DG) methods for the numerical solution of partial differential equations have enjoyed considerable success because they are both flexible and robust: They allow arbitrary unstructured geometries and easy control of accuracy without compromising simulation stability. In a recent publication, we have shown that DG methods also adapt readily to execution on modern, massively parallel graphics processors (GPUs). A number of qualities of the method contribute to this suitability, reaching from locality of reference, through regularity of access patterns, to high arithmetic intensity. In this article, we illuminate a few of the more practical aspects of bringing DG onto a GPU, including the use of a Python-based metaprogramming infrastructure that was created specifically to support DG, but has found many uses across all disciplines of computational science.

研究の動機と目的

• 現代のGPUアーキテクチャにおいて高次不連続ガラーキン（DG）法を効率的に実装する課題に対処すること。
• DGソルバー用に高度に最適化されたGPUカーネルを記述する際の複雑さを低減し、保守性を向上させること。
• 自動コード生成を用いて、多様なハードウェアプラットフォーム間でポータブルかつ高パフォーマンスなDGシミュレーションを実現すること。
• GPUアクセラレートDG法が理論ピーク性能に近い性能を達成できることを示し、大規模な時間領域シミュレーションを低価格のハードウェアでも実現可能にする。

提案手法

• 実行時コード生成（RTCG）を用いて、実行時に最適化されたCUDAカーネルを自動生成するPythonベースのメタプログラミングインfraを採用し、低レベルのGPUプログラミングを抽象化する。
• 実行時コード生成（RTCG）を活用し、多項式次数Nと要素タイプに最適化された要素単位のカーネルを自動生成することで、高い演算強度とメモリコalescingを確保する。
• 質量行列、剛性行列、微分行列、界面質量行列を用いた行列ベースのDG定式化により、PDEの弱形式を構造的でキャッシュフレンドリーな形で表現する。
• 自動チューニング技術とカーネル統合を適用し、GPU上のメモリアクセスパターンを最適化し、カーネル起動オーバーヘッドを低減する。
• メタプログラミング層がカーネルを生成し、GPUがその結果として得られる高パフォーマンスカーネルを実行する、ハイブリッドCPU-GPUワークフローを実装する。
• MPIを用いて複数GPU間での分散メモリ並列化を実現し、性能分析により多項式次数が高くなると通信オーバーヘッドが低下することを示す。

実験結果

リサーチクエスチョン

• RQ1 自動コード生成を用いることで、高次不連続ガラーキン法をGPUアーキテクチャに効率的に移植可能か？
• RQ2 GPUアクセラレートDGの性能は理論ピーク性能と比べてどの程度か？スケーリングに影響を与える要因は何か？
• RQ3 メタプログラミングフレームワークは、DGソルバーにおけるGPUカーネルの保守性とポータビリティをどの程度向上させるか？
• RQ4 分散GPU環境において、通信対計算比は性能にどのように影響するか？特に多項式次数が変化する場合に注目する。
• RQ5 GPU-DGは、かつては大規模スーパーコンピュータが必要とされた性能水準に達することができるか？そのコストはいかほどか？

主な発見

• 16台のNvidia Tesla T10 GPUクラスタ上において、多項式次数N=9で理論ピーク性能の最大25％を達成し、1秒あたりほぼ4テラフロップスの性能を発揮した。
• 多項式次数が高くなるに従い、局所的計算量が増加することで性能が良好にスケーリングされ、分散環境における通信オーバーヘッドの相対的影響が低減する。
• N=5の段階でも約2テラフロップス/秒の性能を達成しており、中程度の次数においても強力な性能を示している。
• Pythonベースのメタプログラミングにより、高度に最適化されたCUDAカーネルが自動生成可能となり、コードの保守性が向上し、開発の複雑さが低減した。
• 高次において優れた並列性を示す。体積ベースの計算はN³に比例してスケーリングするが、界面ベースの通信はN²に比例するため、負荷バランスが良くなり、通信ボトル neck が軽減される。
• 従来は大規模スーパーコンピュータに限定されていたシミュレーションが、低価格のGPUクラスタでも効率的に実行可能となり、研究者によるアクセス性が著しく拡大された。