[논문 리뷰] Density Functional Theory calculation on many-cores hybrid CPU-GPU architectures

Luigi Genovese, Matthieu Ospici외 4명|ArXiv.org|2009. 04. 09.

Matrix Theory and Algorithms참고 문헌 2인용 수 6

한 줄 요약

이 논문은 하이브리드 CPU/GPU 아키텍처에서 다우베치 웨이브릿을 기반으로 한 제1원리 전자구조 계산 코드인 BigDFT 코드의 GPU 가속 구현을 제시한다. 이는 이중 정밀도 산술을 사용한 전체 DFT 계산에서 최대 6배의 속도 향상을 달성하며, 개별 커널은 최대 20배까지 가속화되며, 대규모 병렬 환경에서 이질적인 CPU/GPU 비율에서도 수렴성과 확장성을 유지한다.

ABSTRACT

The implementation of a full electronic structure calculation code on a hybrid parallel architecture with Graphic Processing Units (GPU) is presented. The code which is on the basis of our implementation is a GNU-GPL code based on Daubechies wavelets. It shows very good performances, systematic convergence properties and an excellent efficiency on parallel computers. Our GPU-based acceleration fully preserves all these properties. In particular, the code is able to run on many cores which may or may not have a GPU associated. It is thus able to run on parallel and massive parallel hybrid environment, also with a non-homogeneous ratio CPU/GPU. With double precision calculations, we may achieve considerable speedup, between a factor of 20 for some operations and a factor of 6 for the whole DFT code.

연구 동기 및 목표

• 체계적이고 직교적인 웨이브릿 기저를 사용하여 하이브리드 CPU/GPU 슈퍼컴퓨터에서 확장 가능하고 고성능의 DFT 계산을 가능하게 하기 위해.
• 대규모 시스템에서 삼차원 스케일링을 보이는 DFT의 계산 블로킹 문제를 해결하기 위해 핵심 연산을 이중 정밀도로 GPU에서 가속화하기 위해.
• 기존의 CPU 기반 병렬화와 호환성을 유지하고, 하이브리드 클러스터에서 비균일한 CPU/GPU 비율을 지원하기 위해.
• GPU 가속이 원래 DFT 코드의 수렴성 또는 효율성에 영향을 주지 않음을 입증하기 위해.

제안 방법

• CUDA를 사용하여 다우베치 웨이브릿 기반의 BigDFT 코드를 확장하여, 선형 대수 및 컨볼루션과 같은 계산 집약적인 연산을 GPU 커널으로 이관한다.
• 코어 DFT 연산인 코른-샤무 해밀토니안 평가, 전자 밀도 및 교환-상관 포텐셜 계산을 위한 GPU 커널을 구현한다.
• CPU와 GPU 간의 데이터 전송을 최소화하기 위해 최적화하며, 한 GPU 카드당 여러 CPU 코어를 지원한다.
• 기존의 MPI 기반 도메인 분할 방식을 유지함으로써 원래 코드의 체계적 수렴성과 병렬 효율성을 유지한다.
• 모든 과정에서 이중 정밀도 부동소수점 산술을 사용하여, 아비니시오 시뮬레이션에 대한 수치적 안정성을 확보한다.
• 이질적 구성이 가능한 하이브리드 아키텍처는 한 GPU 카드당 다른 수의 CPU 코어를 허용하며 성능 저하 없이 작동한다.

실험 결과

연구 질문

• RQ1 다우베치 웨이브릿 기반의 전체 전자구조 코드가 수렴성과 병렬 효율성을 유지하면서 하이브리드 CPU/GPU 아키텍처로 효율적으로 이식될 수 있는가?
• RQ2 이중 정밀도 산술을 사용해 핵심 DFT 연산을 GPU에서 가속화함으로써 달성할 수 있는 성능 향상은 어느 정도인가?
• RQ3 이질적 하이브리드 환경에서 한 GPU 카드당 여러 CPU 코어를 할당할 경우 코드의 확장성은 어떻게 되는가?
• RQ4 GPU 가속 DFT 코드가 다양한 시스템 크기와 경계 조건에서 성능과 안정성을 유지할 수 있는가?
• RQ5 GPU 가속이 프로덕션 수준의 DFT 코드 전반의 성능을 향상시키는 데 얼마나 기여할 수 있으며, 핫스팟이나 통신 블로킹을 유발하지는 않는가?

주요 결과

• 12노드 하이브리드 시스템(노드당 GPU 2개)에서 전체 계산에 대해 약 6배의 전반적 속도 향상을 달성한다.
• 특히 선형 대수 및 컨볼루션 루틴에서 일부 연산에 대해 개별 GPU 커널이 최대 20배까지 가속화된다.
• 한 GPU 카드당 여러 CPU 코어를 할당해도 우수한 수렴 성질과 병렬 효율성을 유지한다.
• 고밀도 CPU/GPU 비율(예: GPU당 4개의 코어)에서의 성능 저하는 미미하며 약 2배의 저하에 그치며, 강력한 로드 밸런싱을 나타낸다.
• 비균일한 CPU/GPU 비율을 지원하며, 대규모 병렬 하이브리드 클러스터에서 효과적으로 확장된다.
• GPU 가속은 원래 CPU 기반 병렬화와 완전히 호환되며, 전체 코드 실행에서 성능 저하나 블로킹이 관찰되지 않는다.