[논문 리뷰] A hybrid MPI-OpenMP scheme for scalable parallel pseudospectral computations for fluid turbulence

Pablo D. Mininni, Duane Rosenberg외 2명|arXiv (Cornell University)|2010. 03. 23.

Solar and Space Plasma Dynamics참고 문헌 10인용 수 11

한 줄 요약

이 논문은 페타스케일 시스템에서 유체 난류의 확장 가능한 푸리에 변환 기반 시뮬레이션을 위한 하이브리드 MPI-OpenMP 기법을 제시한다. 분산 메모리(MPI)와 공유 메모리(OpenMP) 병렬 처리를 조합하여 성능을 햖थ하며, 약 20,000개의 코어까지 거의 이상적인 확장성을 달성하고 평균 효율성이 83%에 이르렀다. 이는 IBM Power6 및 Cray XT5와 같은 고성능 플랫폼에서 스레드 수와 프로세스 수를 최적화하여 달성되었다.

ABSTRACT

A hybrid scheme that utilizes MPI for distributed memory parallelism and OpenMP for shared memory parallelism is presented. The work is motivated by the desire to achieve exceptionally high Reynolds numbers in pseudospectral computations of fluid turbulence on emerging petascale, high core-count, massively parallel processing systems. The hybrid implementation derives from and augments a well-tested scalable MPI-parallelized pseudospectral code. The hybrid paradigm leads to a new picture for the domain decomposition of the pseudospectral grids, which is helpful in understanding, among other things, the 3D transpose of the global data that is necessary for the parallel fast Fourier transforms that are the central component of the numerical discretizations. Details of the hybrid implementation are provided, and performance tests illustrate the utility of the method. It is shown that the hybrid scheme achieves near ideal scalability up to ~20000 compute cores with a maximum mean efficiency of 83%. Data are presented that demonstrate how to choose the optimal number of MPI processes and OpenMP threads in order to optimize code performance on two different platforms.

연구 동기 및 목표

• 최신 페타스케일 아키텍처에서 코어 수가 막대한 환경에서도 고레이나르즈 수치 난류를 직접 시뮬레이션할 수 있도록 하기 위해.
• 특히 글로벌 FFT 변환과 전지역 통신 패tern에서의 확장성 한계를 겪는 순수 MPI 기반의 푸리에 변환 해법의 문제를 해결하기 위해.
• 계층적 멀티코어 아키텍처를 고려해 MPI와 OpenMP를 모두 활용하는 이식성 있고 확장성 있으며 효율적인 하이브리드 병렬 모델을 개발하기 위해.
• IBM Power6 및 Cray XT5와 같은 다양한 플랫폼에서 최고 성능을 내기 위해 MPI 프로세스와 OpenMP 스레드의 균형을 최적화하기 위해.
• 순수 MPI 2D 분해가 실패하는 비푸리에 기저 문제(예: 구면 조화 함수)에까지 푸리에 변환 방법의 적용 범위를 넓히기 위해.

제안 방법

• 기존에 MPI 기반으로 병렬화된 푸리에 변환 코드를 기반으로 하며, 초기 병렬화를 위해 1차원 슬래브 도메인 분할을 사용한다.
• 각 MPI 프로세스 내부에서 공유 메모리 병렬 처리를 가능하게 하기 위해 루프 수준의 OpenMP 지시어를 도입한다.
• 두 수준의 병렬 처리를 지원하도록 도메인 분할 방식을 수정하여, 로드 밸런싱을 향상시키고 대규모 FFT에서의 통신 오버헤드를 감소시킨다.
• 멀티스레드 FFT 라이브러리를 활용해 스펙트럼 변환을 가속화하고, 글로벌 데이터 전치의 지연을 줄인다.
• 저수준 최적화 없이도 표준 MPI 및 OpenMP 추상화를 기반으로 다양한 시스템 간 이식 가능성을 확보한다.
• 성능 최적화에는 MPICH_FAST_MEMCPY와 같은 MPI 환경 변수 설정을 포함하며, 이는 메모리 복사 지연을 줄이지만 버퍼 메모리 사용량 증가를 수반한다.

실험 결과

연구 질문

• RQ1 페타스케일 시스템에서 푸리에 변환 기반 유체 난류 시뮬레이션에 대해 순수 MPI보다 하이브리드 MPI-OpenMP 접근 방식이 더 높은 확장성과 성능을 달성할 수 있는가?
• RQ2 현대 멀티코어 아키텍처에서 최고 성능을 내기 위해 MPI 프로세스와 OpenMP 스레드의 최적 설정은 무엇인가?
• RQ3 스레드 오버헤드와 메모리 소비는 특히 고코어 수와 큰 문제 크기에서 확장성에 어떤 영향을 미치는가?
• RQ4 순수 MPI 2D 분해가 실패하는 비푸리에 스펙트럼 기저(예: 구면 조화 함수)에서도 하이브리드 모델이 효과적으로 작동할 수 있는가?
• RQ5 코어 수와 메모리 계층이 다른 다양한 하드웨어 플랫폼에서 하이브리드 방식의 성능은 어떠한가?

주요 결과

• 하이브리드 MPI-OpenMP 기법은 약 20,000개의 컴퓨팅 코어까지 거의 이상적인 확장성을 달성했으며, 최대 평균 효율성이 83%에 이르렀다.
• Cray XT5 시스템(kraken)에서는 큰 문제에 대해 1개 MPI 프로세스당 12개의 OpenMP 스레드로 최적 성능을 달성했고, 더 작은 작업량에서는 스레드 오버헤드를 줄이기 위해 6개 스레드가 더 우수한 성능을 보였다.
• IBM Power6 시스템(bluefire)에서는 해상도가 낮을 경우 스레드 오버헤드가 심각하게 영향을 미쳐, 소켓당 코어 수가 적을 경우 확장성이 제한되었다.
• MPI 환경 변수 MPICH_FAST_MEMCPY를 사용하면 성능이 8~10% 향상되지만, 버퍼 메모리 요구량이 증가하여 큰 해상도에서 메모리 오버플로우가 발생할 수 있다.
• 하이브리드 접근 방식은 MPI 프로세스 수를 줄여 버퍼 메모리 요구량을 감소시키고, MPI 관련 메모리 병목 현상을 완화시켰다.
• 비정육면체 도메인에 대해서도 이 방법이 효과적이었으며, 계산 기하학의 다양한 비율에 대해 강건함을 입증했다.