[논문 리뷰] Parallel Spherical Harmonic Transforms on heterogeneous architectures (GPUs/multi-core CPUs)

Mikołaj Szydlarski, Pierre Estérie외 3명|arXiv (Cornell University)|2011. 06. 01.

Geophysics and Gravity Measurements참고 문헌 22인용 수 6

한 줄 요약

이 논문은 CUDA와 MPI를 사용하여 다중 코어 CPU와 GPU를 조합한 이종 아키텍처를 위한 고도로 최적화된 병렬 구면 조화 함수 변환(SHT) 알고리즘을 제시한다. GPU 클러스터에서 역 SHT에 대해 CPU 기반 MPI/OpenMP 대비 최대 3배의 성능 향상을 달성하였으며, 높은 수치 정확도와 확장성을 확보하였다. 이는 알고리즘 설계의 차이로 인해 직접 변환과 역 변환 간 성능 격차가 발생하는 것을 확인하였다.

ABSTRACT

Spherical Harmonic Transforms (SHT) are at the heart of many scientific and practical applications ranging from climate modelling to cosmological observations. In many of these areas new, cutting-edge science goals have been recently proposed requiring simulations and analyses of experimental or observational data at very high resolutions and of unprecedented volumes. Both these aspects pose formidable challenge for the currently existing implementations of the transforms. This paper describes parallel algorithms for computing SHT with two variants of intra-node parallelism appropriate for novel supercomputer architectures, multi-core processors and Graphic Processing Units (GPU). It also discusses their performance, alone and embedded within a top-level, MPI-based parallelisation layer ported from the S2HAT library, in terms of their accuracy, overall efficiency and scalability. We show that our inverse SHT run on GeForce 400 Series GPUs equipped with latest CUDA architecture ("Fermi") outperforms the state of the art implementation for a multi-core processor executed on a current Intel Core i7-2600K. Furthermore, we show that an MPI/CUDA version of the inverse transform run on a cluster of 128 Nvidia Tesla S1070 is as much as 3 times faster than the hybrid MPI/OpenMP version executed on the same number of quad-core processors Intel Nahalem for problem sizes motivated by our target applications. Performance of the direct transforms is however found to be at the best comparable in these cases. We discuss in detail the algorithmic solutions devised for major steps involved in the transforms calculation, emphasising those with a major impact on their overall performance, and elucidates the sources of the dichotomy between the direct and the inverse operations.

연구 동기 및 목표

• 우주론과 기후 모델링 분야에서 고해상도의 구면 조화 함수 변환에 대한 증가하는 계산 요구를 해결한다.
• 특히 우주 마이크파동배경(CMB) 시뮬레이션을 위한 대규모 데이터에서 기존 SHT 구현의 성능 저하 문제를 해결한다.
• 현대의 이종 아키텍처(다중 코어 CPU와 GPU)에 맞게 효율적이고 확장성 있고 정확한 SHT 알고리즘을 개발한다.
• CMB 데이터 분석 및 시뮬레이션 워크로드의 가속화를 위해 GPU 클러스터에서 고성능의 역 SHT를 가능하게 한다.
• GPU 아키텍처에서 직접 SHT와 역 SHT 간 성능 격차가 발생하는 이유를 조사하고 해결한다.

제안 방법

• CUDA를 사용한 GPU 가속을 위해 병렬 SHT 알고리즘을 설계하고 구현하며, 다중 코어 CPU 병렬 처리를 위해 OpenMP를 활용한다.
• 다중 노드 간 확장성을 위해 MPI 기반 분산 메모리 계층을 통합하여 클러스터에서 대규모 SHT를 수행할 수 있도록 한다.
• 특히 FFT 및 감소 연산을 최적화하기 위해 CUFFT와 Intel MKL과 같은 고도로 최적화된 라이브러리를 활용한다.
• 구면 신호를 표현하고 조화 계수를 천체도 맵으로 매핑하기 위해 HEALPix 기반의 하늘 영역 분할 기법을 사용한다.
• 노드 내부 및 노드 간 병렬 처리를 동시에 활용하기 위해 MPI/CUDA 및 MPI/OpenMP와 같은 하이브리드 프로그래밍 모델을 적용한다.
• GPU 커널의 메모리 공유, 커널 융합, 효율적인 스레드 블록 구성과 같은 알고리즘 최적화 기법을 구현한다.

실험 결과

연구 질문

• RQ1 다중 코어 CPU와 GPU를 조합한 이종 아키텍처에서 구면 조화 함수 변환을 어떻게 효율적으로 병렬화할 수 있는가?
• RQ2 최신 CPU 기반 구현 대비 GPU 가속 SHT를 사용할 경우 어떤 성능 향상을 기대할 수 있는가?
• RQ3 왜 GPU 아키텍처에서 역 SHT가 직접 SHT보다 뛰어나게 성능을 내는가? 이 성능 격차를 유발하는 알고리즘적 요인은 무엇인가?
• RQ4 MPI 기반 하이브리드 구현이 GPU와 CPU로 구성된 클러스터에서 대규모 SHT 워크로드에 대해 어느 정도 확장 가능한가?
• RQ5 GPU 가속 SHT 결과가 CPU 기반 기준 구현 대비 얼마나 정확한가?

주요 결과

• GeForce 400 시리즈 GPU와 CUDA를 사용한 역 SHT는 Intel Core i7-2600K 기반의 최신 기술인 libpsht CPU 구현보다 뚜렷한 성능 우위를 확보하였다.
• 128개의 Nvidia Tesla S1070 GPU로 구성된 클러스터에서 MPI/CUDA를 사용한 경우, 동일한 수의 Intel Nehalem 4코어 프로세서를 사용한 MPI/OpenMP 버전 대비 역 SHT 성능을 최대 3배 향상시켰다.
• 직접 SHT는 감소 연산에서 발생하는 성능 저하로 인해 GPU에서의 성능 향상이 미미하여 CPU 기반 MPI/OpenMP 대비 약 20–30% 빠른 것으로 나타났다.
• CPU와 GPU에서 생성된 천체도 맵 간 절대 차이가 항상 약 10⁻¹¹ 이내였으며, 이는 아키텍처 간 높은 수치 정확도를 확인하는 데 기여하였다.
• 대규모 테스트 케이스(N_side = 16384, ℓ_max = 32768)에서 CUDA 최적화된 역 SHT는 다중 스레드 CPU 버전 대비 평균 3.3배의 속도 향상을 달성하였다.
• GPU에서 직접 SHT와 역 SHT 간 성능 격차는 알고리즘적 비대칭성, 특히 직접 변환에서 감소 및 메모리 접근 패턴 처리의 차이로 인해 발생한다.