[논문 리뷰] GPU-Based Conjugate Gradient Solver for Lattice QCD with Domain-Wall Fermions

Ting-Wai Chiu, Tung‐Han Hsieh외 2명|arXiv (Cornell University)|2011. 01. 02.

Quantum Chromodynamics and Particle Interactions인용 수 6

한 줄 요약

이 논문은 혼합 정밀도 산술, 결함 보정, 신뢰할 수 있는 업데이트를 활용한 NVIDIA CUDA 기반의 고도로 최적화된 GPU 기반 공액 그래디언트(CG) 솔버를 제안한다. 이는 도메인 월 페르미온을 사용하는 격자 QCD에 적용되며, 지속적인 180 Gflops의 성능을 GTX 285에서, 233 Gflops의 성능을 GTX 480에서 달성하여, 정확한 카이랄 대칭을 갖는 비압착 격자 QCD 시뮬레이션을 크게 가속화한다.

ABSTRACT

We present the first GPU-based conjugate gradient (CG) solver for lattice QCD with domain-wall fermions (DWF). It is well-known that CG is the most time-consuming part in the Hybrid Monte Carlo simulation of unquenched lattice QCD, which becomes even more computational demanding for lattice QCD with exact chiral symmetry. We have designed a CG solver for the general 5-dimensional DWF operator on NVIDIA CUDA architecture with mixed-precision, using the defect correction as well as the reliable updates algorithms. We optimize our computation by even-odd preconditioning in the 4D space-time lattice, plus several innovative techniques for CUDA kernels. For NVIDIA GeForce GTX 285/480, our CG solver attains 180/233 Gflops (sustained).

연구 동기 및 목표

• 도메인 월 페르미온을 사용하는 비압착 격자 QCD의 하이브리드 몬테카를로(HMC) 시뮬레이션에서 공액 그래디언트(CG) 솔버의 계산 병목 현상을 해결하기 위해.
• 대규모 슈퍼컴퓨터가 아닌 저비용 GPU 클러스터에서 정확한 카이랄 대칭을 갖는 비압착 격자 QCD 시뮬레이션을 실용적으로 가능하게 하기 위해.
• 혼합 정밀도 산술을 사용하여 NVIDIA CUDA 아키텍처에서 5차원 도메인 월 페르미온 연산자에 대한 고도로 최적화된 CG 솔버를 설계하기 위해.
• 짝수-홀수 전처리와 혁신적인 CUDA 커널 최적화를 구현하여 메모리 대역폭과 계산 처리량을 극대화하기 위해.

제안 방법

• 혼합 정밀도 공액 그래디언트(CG)에 결함 보정과 신뢰할 수 있는 업데이트를 적용하여 수치적 안정성과 성능을 향상시킨다.
• 4차원 시공간 격자에 짝수-홀수 전처리를 적용하여 5차원 도메인 월 페르미온 연산자를 블록 구조로 변환함으로써 조건 수를 개선한다.
• 공유 메모리를 사용하여 링크 변수와 소스 벡터에 최적화된 CUDA 커널을 구현하여 중복된 메모리 접근을 줄이고 데이터 재사용을 향상시킨다.
• 링크 변수와 벡터를 캐싱하기 위해 텍스처 메모리를 사용하고, 루프 펼침과 커널 융합을 구현하여 커널 시작 오버헤드를 최소화한다.
• 벡터 노름 계산을 위해 공유 메모리 기반의 병렬 감소를 적용하며, 대규모 벡터를 처리하기 위해 계층적 블록 수준 감소를 구현한다.
• 파이썬 스크립트를 사용하여 저수준 연산, 특히 $M_5$와 $D_w$를 포함한 행렬-벡터 곱 연산을 자동화하고 튜닝하는 최적화된 CUDA 커널을 생성한다.

실험 결과

연구 질문

• RQ1 모든 GPU 클러스터에서 도메인 월 페르미온을 사용하는 비압착 격자 QCD 시뮬레이션을 실현 가능하게 하기 위해 GPU 기반 CG 솔버가 충분한 성능를 확보할 수 있는가?
• RQ2 혼합 정밀도 CG에 결함 보정과 신뢰할 수 있는 업데이트를 적용하여 5차원 도메인 월 페르미온 연산자에 대해 GPU 아키텍처에서 효과적으로 구현할 수 있는가?
• RQ3 NVIDIA GPU에서 CG 솔버의 행렬-벡터 곱 연산을 가속화하기 위해 가장 효과적인 커널 수준 최적화는 무엇인가?
• RQ4 짝수-홀수 전처리가 도메인 월 페르미온 CG 솔버의 수렴성과 성능에 얼마나 기여하는가?
• RQ5 특히 이전 아키텍처(GTX 285)와 신규 아키텍처(GTX 480) 간의 GPU 아키텍처 간 성능 스케일링은 어떻게 이루어지는가?

주요 결과

• GPU 기반 CG 솔버는 NVIDIA GeForce GTX 285에서 지속적인 180 Gflops 성능을 달성하여, 비압착 격자 QCD의 HMC 시뮬레이션을 크게 가속화한다.
• 더 새로운 NVIDIA GeForce GTX 480에서는 233 Gflops(지속적) 성능을 확보하여, 단정밀도 성능 향상과 더 큰 L1 캐시 덕분에 상당한 성능 향상을 보였다.
• 단정밀도 $D_w$ 행렬-벡터 곱 연산이 혼합 정밀도 산술에도 불구하고 CG 실행 시간의 대부분을 차지하여 주요 성능 병목으로 작용한다.
• 이중 정밀도 연산, 특히 $M_5$ 곱셈에서의 실행 시간 기여도는 미미하여 혼합 정밀도 CG의 효율성을 입증한다.
• 페르미 아키텍처(GTX 480, C2050)는 이전 아키텍처에 비해 단정밀도 $D_w$ 곱셈과 이중 정밀도 $M_5$ 곱셈에서 뚜렷한 성능 향상을 보였다.
• 공유 메모리, 텍스처 메모리, 루프 펼침, 커널 융합의 사용은 특히 메모리 기반 작업인 벡터 감소와 행렬-벡터 곱 연산에서 측정 가능한 성능 향상을 가져왔다.