[논문 리뷰] Matrix-free GPU implementation of a preconditioned conjugate gradient solver for anisotropic elliptic PDEs

Eike Mueller, Xu Guo외 2명|arXiv (Cornell University)|2013. 02. 28.

Advanced Numerical Methods in Computational Mathematics참고 문헌 9인용 수 10

한 줄 요약

이 논문은 수치 기상 예측(NWP)에서 발생하는 이방성 타원형 편미분방정식(PDE)을 위한 행렬 기반 미사용, GPU 가속 Preconditioned Conjugate Gradient (PCG) 솔버를 제안한다. 수직 이방성 특성을 활용하고, 행렬 기반 미사용 스텐실 평가, 루프 융합, 최적화된 메모리 접근 방식을 통해 높은 처리량과 낮은 글로벌 메모리 대역폭을 달성하여, 대규모 문제에서 순차적 CPU 및 행렬 기반 명시적 GPU 구현보다 뛰어난 성능을 보인다.

ABSTRACT

Many problems in geophysical and atmospheric modelling require the fast solution of elliptic partial differential equations (PDEs) in "flat" three dimensional geometries. In particular, an anisotropic elliptic PDE for the pressure correction has to be solved at every time step in the dynamical core of many numerical weather prediction models, and equations of a very similar structure arise in global ocean models, subsurface flow simulations and gas and oil reservoir modelling. The elliptic solve is often the bottleneck of the forecast, and an algorithmically optimal method has to be used and implemented efficiently. Graphics Processing Units have been shown to be highly efficient for a wide range of applications in scientific computing, and recently iterative solvers have been parallelised on these architectures. We describe the GPU implementation and optimisation of a Preconditioned Conjugate Gradient (PCG) algorithm for the solution of a three dimensional anisotropic elliptic PDE for the pressure correction in NWP. Our implementation exploits the strong vertical anisotropy of the elliptic operator in the construction of a suitable preconditioner. As the algorithm is memory bound, performance can be improved significantly by reducing the amount of global memory access. We achieve this by using a matrix-free implementation which does not require explicit storage of the matrix and instead recalculates the local stencil. Global memory access can also be reduced by rewriting the algorithm using loop fusion and we show that this further reduces the runtime on the GPU. We demonstrate the performance of our matrix-free GPU code by comparing it to a sequential CPU implementation and to a matrix-explicit GPU code which uses existing libraries. The absolute performance of the algorithm for different problem sizes is quantified in terms of floating point throughput and global memory bandwidth.

연구 동기 및 목표

• 수치 기상 예측(NWP) 모델에서 타원형 솔버의 성능 저하 문제를 해결하기 위해, 이방성이고 평평한 3차원 기하 구조로 인해 계산 비용이 높은 문제를 해결한다.
• 운영용 NWP 및 지구물리학 모델 워크로드를 대상으로, 고성능이고 메모리 효율적인 GPU용 이방성 타원형 PDE용 PCG 솔버를 개발한다.
• PCG 알고리즘에서 행렬 기반 구현과 루프 융합을 통해 글로벌 메모리 대역폭과 액세스 오버헤드를 줄인다.
• 표준 CUDA 라이브러리를 사용한 행렬 기반 명시적 GPU 구현과 비교하여, 순차적 CPU 및 행렬 기반 명시적 GPU 구현보다 뛰어난 성능을 입증한다.

제안 방법

• 행렬 기반 저장을 피하기 위해 행렬 기반 미사용 접근 방식을 사용하여, 행렬-벡터 곱 연산 중에 로컬 스텐실을 실시간으로 재계산한다.
• 타원형 연산자의 강한 수직 이방성 특성을 반영한 물리 기반 프리컨dition러를 구성하여 수렴 속도를 향상시킨다.
• 루프 융합을 적용하여 여러 PCG 연산(예: 벡터 갱신, 내적, 행렬-벡터 곱)을 단일 커널에 통합하여 메모리 트래픽을 감소시킨다.
• 스레드 블록을 수평 격자 평면에 매핑하여 코alesced 메모리 액세스와 효율적인 병렬 처리를 가능하게 하는 CUDA 커널을 사용한다.
• 내적과 노름에 대한 글로벌 감소 연산은 2차원 수평 벡터에서 BLAS 호출을 통해 수행하여 통신 비용을 최소화한다.
• 확장성 설계를 위해 하이라이트 교환을 통한 다중 GPU 시스템 확장 가능성을 고려하여, 데이터 전송 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 행렬 기반 미사용 및 루프 융합 GPU 커널은 이방성 타원형 PDE를 해결하는 데 있어 글로벌 메모리 액세스를 어떻게 줄이고 성능을 향상시킬 수 있는가?
• RQ2 的大어 및 해양 PDE에 대해 프리컨dition러에서 수직 이방성을 어떻게 활용할 수 있으며, 성능 향상은 어느 정도 기대할 수 있는가?
• RQ3 CUDA 라이브러리를 사용한 행렬 기반 명시적 GPU 구현과 비교하여, 행렬 기반 미사용 GPU PCG 솔버는 처리량과 메모리 대역폭에서 어떤 성능을 보이는가?
• RQ4 GPU 아키텍처에서 PCG 알고리즘의 런타임을 줄이기 위해 루프 융합이 얼마나 기여하는가?
• RQ5 제안된 구현은 최소한의 장치 간 통신으로 다중 GPU 클러스터에 효율적으로 확장 가능한가?

주요 결과

• 행렬 기반 미사용 GPU PCG 솔버는 순차적 CPU 및 행렬 기반 명시적 GPU 구현보다 유의미하게 높은 부동소수점 처리량과 낮은 글로벌 메모리 대역폭 사용을 달성한다.
• 루프 융합은 중복된 메모리 액세스를 줄이고 PCG 커널 내 메모리 코ales싱을 향상시켜 런타임을 감소시킨다.
• 행렬 기반 미사용 접근 방식은 큰 희소 행렬을 저장할 필요가 없게 하여 글로벌 메모리 프로필을 감소시키고 메모리 액세스 효율성을 향상시킨다.
• 이 솔버는 NWP 및 지하류체 시뮬레이션에서 흔히 볼 수 있는 큰 3차원 이방성 문제에서 뛰어난 성능을 보이며, aquila 슈퍼컴퓨터에서 강한 스케일링 성능을 보였다.
• 프리컨dition러는 수직 이방성을 효과적으로 활용하여 약 100회 반복 내에 수렴을 달성하였으며, 다중 격자 방법과 경쟁 가능한 성능을 보였다.
• 에너지 소비와 절대 성능 측면에서 매우 효율적인 것으로 입증되어, 운영용 기상 및 기후 모델에 적합하다.