[논문 리뷰] A Massive Data Parallel Computational Framework for Petascale/Exascale Hybrid Computer Systems

Marek Błażewicz, Steven R. Brandt외 6명|arXiv (Cornell University)|2012. 01. 10.

Advanced Data Storage Technologies참고 문헌 1인용 수 5

한 줄 요약

이 논문은 Cactus HPC 생태계에 통합된 새로운 MPI-CUDA 계산 프레임워크인 CaCUDA를 제안한다. 이는 페타스케일/엑사스케일 하이브리드 CPU-GPU 시스템에서 효율적인 데이터 병렬 과학 계산을 가능하게 한다. GPU 메모리 관리 자동화와 데이터 전송과의 계산 겹침을 통해 단일 GPU 노드에서 독립형 CUDA보다 34% 높은 성능(58 GFlop/s)을 달성하였으며, 복잡한 CFD 시뮬레이션에 있어서 뛰어난 확장성과 사용성을 입증하였다.

ABSTRACT

Heterogeneous systems are becoming more common on High Performance Computing (HPC) systems. Even using tools like CUDA and OpenCL it is a non-trivial task to obtain optimal performance on the GPU. Approaches to simplifying this task include Merge (a library based framework for heterogeneous multi-core systems), Zippy (a framework for parallel execution of codes on multiple GPUs), BSGP (a new programming language for general purpose computation on the GPU) and CUDA-lite (an enhancement to CUDA that transforms code based on annotations). In addition, efforts are underway to improve compiler tools for automatic parallelization and optimization of affine loop nests for GPUs and for automatic translation of OpenMP parallelized codes to CUDA. In this paper we present an alternative approach: a new computational framework for the development of massively data parallel scientific codes applications suitable for use on such petascale/exascale hybrid systems built upon the highly scalable Cactus framework. As the first non-trivial demonstration of its usefulness, we successfully developed a new 3D CFD code that achieves improved performance.

연구 동기 및 목표

• 하이브리드 CPU-GPU 시스템에서 대규모 과학 응용 프로그램의 최적 GPU 성능를 달성하는 데서 발생하는 복잡성을 해결하기 위해.
• 저수준 GPU 프로그래밍 복잡성을 추상화하여 데이터 병렬 과학 코드 개발을 단순화하기 위해.
• 핵심 프레임워크를 수정하지 않고도 확장 가능한 Cactus 계산 프레임워크에 GPU 가속을 원활하게 통합하기 위해.
• 고성능 3D 비압축성 CFD 응용 프로그램을 통해 프레임워크의 효과성을 입증하기 위해.
• 자동 데이터 분배 및 비동기 메모리 전송을 사용하여 페타스케일 급 GPU 클러스터에서 높은 확장성과 성능를 달성하기 위해.

제안 방법

• 하이브리드 CPU-GPU 시스템에서 GPU 실행 및 데이터 이동을 관리하기 위해 Cactus 프레임워크에 새로운 'thorn'인 CaCUDA를 확장한다.
• 노드 간 통신을 위해 MPI를 사용하고, 노드 내 GPU 가속을 위해 CUDA를 사용하여 분산 GPU에서 데이터 병렬 실행을 가능하게 한다.
• 자동으로 커널 함수 템플릿을 생성하고 CPU 및 GPU 메모리 공간 간의 데이터 전송을 관리한다.
• 비동기 메모리 전송과 동시 실행을 활용하여 계산을 데이터 이동과 겹쳐, 유휴 시간을 줄인다.
• 프로세스 간 통신을 위해 고스트 셀 메커니즘을 적용하며, 수치 스텐실 기반으로 구성 가능한 고스트 영역 크기를 설정한다.
• 3D 비압축성 나비에-스토크스 방정식을 해결하기 위해 선형화 방법과 룬게-쿠타 시간 적분, 유한 차분 이산화를 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 계산 프레임워크는 하이브리드 CPU-GPU 아키텍처에서 데이터 병렬 과학 응용 프로그램 개발을 어떻게 단순화할 수 있는가?
• RQ2 기존의 HPC 프레임워크인 Cactus에 GPU 가속을 통합함으로써 어떤 성능 향상을 달성할 수 있는가?
• RQ3 복잡한 데이터 이동을 관리하면서도 다수의 GPU 노드에서 높은 확장성과 효율성을 유지할 수 있는가?
• RQ4 자동 커널 템플릿 생성 및 데이터 관리 기능이 수작업으로 작성된 CUDA 구현에 비해 성능와 생산성 측면에서 어떻게 비교되는가?
• RQ5 프레임워크는 복잡한 스텐실 기반 수치 방법, 예를 들어 유체역학에서의 것들과 같은 것들을 어느 정도 지원할 수 있는가?

주요 결과

• CaCUDA 프레임워크는 단일 GPU 노드에서 58 GFlop/s의 성능를 기록하여 독립형 CUDA 구현(43.5 GFlop/s)보다 34% 높은 성능 향상을 달성하였다.
• 6개 노드로 구성된 GPU 클러스터 테스트베드에서 프레임워크는 선형적으로 증가하는 스피드업을 보이며 강력한 확장성을 입증하였다.
• CaCUDA를 사용하여 개발한 3D 비압축성 CFD 코드는 Ghia 등이 제시한 벤치마크 결과와 우수한 일치를 보이며 수치 정확성을 검증하였다.
• 프레임워크는 CUDA 커널 템플릿의 자동 생성을 성공적으로 구현하여 개발자 부담을 감소시키고 코드 유지보수성을 향상시켰다.
• 비동기 데이터 전송과 계산 겹침을 활용함으로써 통신 병목 현상이 크게 감소하여 전체 효율성이 향상되었다.
• Cactus 핵심 프레임워크에 CaCUDA를 통합하는 데 있어 핵심 프레임워크의 수정이 필요로 하지 않아 후행 호환성과 확장성을 유지하였다.