[論文レビュー] GPU-Based Conjugate Gradient Solver for Lattice QCD with Domain-Wall Fermions

Ting-Wai Chiu, Tung‐Han Hsieh+2 more|arXiv (Cornell University)|Jan 2, 2011

Quantum Chromodynamics and Particle Interactions被引用数 6

ひとこと要約

本論文は、混合精度算術、欠損補正、信頼性の高い更新を活用した、NVIDIA CUDAを用いた高最適化GPUベースの格子QCD用共役勾配（CG）ソルバを提示する。ドメインウォールフェルミオンを用いた場合、GTX 285で180 Gflops（持続的）、GTX 480で233 Gflopsを達成し、正確なチャイラル対称性を有する非遮断格子QCDシミュレーションの高速化を実現した。

ABSTRACT

We present the first GPU-based conjugate gradient (CG) solver for lattice QCD with domain-wall fermions (DWF). It is well-known that CG is the most time-consuming part in the Hybrid Monte Carlo simulation of unquenched lattice QCD, which becomes even more computational demanding for lattice QCD with exact chiral symmetry. We have designed a CG solver for the general 5-dimensional DWF operator on NVIDIA CUDA architecture with mixed-precision, using the defect correction as well as the reliable updates algorithms. We optimize our computation by even-odd preconditioning in the 4D space-time lattice, plus several innovative techniques for CUDA kernels. For NVIDIA GeForce GTX 285/480, our CG solver attains 180/233 Gflops (sustained).

研究の動機と目的

• 非遮断格子QCDにおけるハイブリッドモンテカルロ（HMC）シミュレーションにおける共役勾配（CG）ソルバの計算ボトルネックを解消すること。
• 大規模スーパーコンピュータではなく、安価なGPUクラスタ上で正確なチャイラル対称性を有する非遮断格子QCDの実用的シミュレーションを可能にすること。
• 混合精度算術を用いて、NVIDIA CUDAアーキテクチャ上での5次元ドメインウォールフェルミオン作用素の高度に最適化されたCGソルバを設計すること。
• イーブンオッド予め処理と革新的なCUDAカーネル最適化を実装し、メモリ帯域幅と計算スループットを最大化すること。

提案手法

• 数値的安定性と性能を向上させるために、混合精度共役勾配（CG）に欠損補正と信頼性の高い更新を適用する。
• 4次元時空格子にイーブンオッド予め処理を適用し、5次元ドメインウォールフェルミオン作用素をブロック構造形式に変換することで、条件数の改善を図る。
• リンク変数とソースベクトルに共有メモリを最適化したCUDAカーネルを採用し、重複するメモリアクセスを低減し、データ再利用を向上させる。
• リンク変数とベクトルのキャッシュにテクスチャメモリを活用し、ループアンローリングとカーネル結合を実装することで、カーネル起動オーバーヘッドを最小限に抑える。
• ベクトルノルム計算に共有メモリを用いた並列還元を適用し、階層的なブロックレベル還元により、大規模なベクトル処理に対応する。
• Pythonスクリプトを用いて最適化されたCUDAカーネルを生成し、低レベル演算の自動化とチューニングを実現する。特に、$M_5$と$D_w$を含む行列-ベクトル積の最適化に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 GPUベースのCGソルバは、安価なGPUクラスタ上でドメインウォールフェルミオンを用いた非遮断格子QCDシミュレーションを実行可能にする十分な性能を達成できるか？
• RQ2 5次元ドメインウォールフェルミオン作用素に対して、混合精度CGに欠損補正と信頼性の高い更新をGPUアーキテクチャ上で効果的に実装する方法は何か？
• RQ3 NVIDIA GPU上でCGソルバの行列-ベクトル乗算を高速化するために、最も効果的なカーネルレベル最適化は何か？
• RQ4 イーブンオッド予め処理は、ドメインウォールフェルミオンCGソルバの文脈で収束性と性能をどの程度向上させるか？
• RQ5 特に旧式（GTX 285）と新式（GTX 480）のCUDAデバイスとの間で、CGソルバの性能はどの程度スケーリングするか？

主な発見

• GPUベースのCGソルバは、NVIDIA GeForce GTX 285で180 Gflops（持続的）を達成し、非遮断格子QCDのHMCシミュレーションを顕著に高速化した。
• より新しいNVIDIA GeForce GTX 480では、233 Gflops（持続的）を達成し、単精度性能の向上とより大きなL1キャッシュのおかげで顕著な性能向上を示した。
• 単精度の$D_w$行列-ベクトル乗算が、混合精度算術であってもCG処理の大部分を占める主な性能ボトルネックであった。
• 二重精度演算、特に$M_5$乗算における実行時間の寄与は最小限に抑えられており、混合精度CGの効率性が裏付けられた。
• フェルミアーキテクチャ（GTX 480, C2050）は、以前のアーキテクチャと比較して、単精度$D_w$乗算と二重精度$M_5$乗算の両方で顕著な向上を示した。
• 共有メモリ、テクスチャメモリ、ループアンローリング、カーネル結合の活用により、特にメモリ制限の操作（ベクトル還元や行列-ベクトル積）において測定可能な性能向上が得られた。