[논문 리뷰] Asynchronous Execution of the Fast Multipole Method Using Charm++

Mustafa Abdulmajeed AbdulJabbar, Rio Yokota외 1명|arXiv (Cornell University)|2014. 05. 29.

Electromagnetic Scattering and Analysis참고 문헌 1인용 수 5

한 줄 요약

이 논문은 분산 메모리 N-body 시뮬레이션에서 로드 밸런싱과 통신 겹침을 향상시키기 위해 Charm++를 사용한 비동기식 빠른 다중체 방법(Fast Multipole Method, FMM)을 제안한다. 미세한 수준의 데이터 기반 작업 지정과 동적 로드 밸런싱을 활용하여, 10⁸개의 입자를 가진 매우 비균일한 Plummer 분포에서 1,000배 이상의 성능 향상을 달성하였으며, 과거의 작업을 더 잘 숨기기 어려운 뛰어난 순차 성능을 가짐에도 불구하고 전통적인 버블-동기식 FMM보다 뛰어난 성능을 보였다.

ABSTRACT

Fast multipole methods (FMM) on distributed mem- ory have traditionally used a bulk-synchronous model of com- municating the local essential tree (LET) and overlapping it with computation of the local data. This could be perceived as an extreme case of data aggregation, where the whole LET is communicated at once. Charm++ allows a much finer control over the granularity of communication, and has a asynchronous execution model that fits well with the structure of our FMM code. Unlike previous work on asynchronous fast N-body methods such as ChaNGa and PEPC, the present work performs a direct comparison against the traditional bulk-synchronous approach and the asynchronous approach using Charm++. Furthermore, the serial performance of our FMM code is over an order of magnitude better than these previous codes, so it is much more challenging to hide the overhead of Charm++.

연구 동기 및 목표

• 분산 메모리 FMM에서 버블-동기식 통신의 한계를 해결하기 위해 더 미세한 수준의 비동기식 작업 실행을 가능하게 하기 위해.
• Charm++와 같은 데이터 기반 실행 모델이 순차 성능이 뛰어난 고성능 FMM 코드에서 통신 지연을 효과적으로 숨길 수 있는지 평가하기 위해.
• 이중 트리 탐색을 사용하여 국소적 및 전역적 트리 구조를 분리하는 새로운 분할 기법을 개발하고 검증하기 위해.
• 문제 크기를 조정하지 않고 세 배의 크기 범위에 걸쳐 강력한 확장성을 입증하기 위해.
• 제안된 분할 가중치 기법이 다양한 입자 분포와 2의 거듭제곱이 아닌 코어 수에서 낮은 로드 불균형을 유지하는지 확인하기 위해.

제안 방법

• 국소 필수 트리(Local Essential Tree, LET)의 버블-동기식 MPI_Alltoallv 통신을 대체하기 위해 Charm++의 비동기식, 메시지 기반 실행 모델을 활용하기 위해.
• 전역 키나 삼차 세포를 필요로 하지 않는 이중 트리 탐색 방식을 사용하여 국소적 및 전역적 트리 간의 기하학적 분리를 가능하게 하기 위해.
• 식 (1)을 사용하여 계산 작업과 통신 부하를 모두 고려하는 새로운 분할 가중치 기법을 설계하여 프로세스 간 작업 부하를 균형 있게 조정하기 위해.
• 국소적 및 전역적 트리 간의 구조적 독립성을 활용하여 트리 이식을 단순화함으로써 FMM 코드를 Charm++에 통합하기 위해.
• 1,025개의 코어(2의 거듭제곱이 아님)를 사용하여 도전적인 프로세스 분포 조건에서 성능을 평가하기 위해 강력한 확장성 테스트를 수행하기 위해.
• 다양한 입자 분포(정육면체, 구, Plummer)에 대해 비동기식 Charm++ 기반 FMM을 전통적인 버블-동기식 FMM과 직접 비교하기 위해.

실험 결과

연구 질문

• RQ1 Charm++를 사용한 비동기식 실행 모델이 버블-동기식 통신에 비해 고성능 FMM에서 통신 병목 현상을 효과적으로 줄일 수 있는가?
• RQ2 제안된 분할 기법이 다양한 입자 분포와 2의 거듭제곱이 아닌 코어 수에서 낮은 로드 불균형을 유지하는가?
• RQ3 이전 연구들보다 10배 이상 뛰어난 순차 성능을 가진 FMM 코드에서 비동기 모델이 통신 오버헤드를 어느 정도 효과적으로 숨길 수 있는가?
• RQ4 기본적인 기법들과 비교했을 때, 새로운 분할 가중치 기법이 다양한 분포에서 로드 밸런싱 측면에서 얼마나 우수한가?
• RQ5 동적 로드 밸런싱, 데이터 프리패칭, 데이터 플로우 실행의 조합이 문제 크기가 세 배의 범위에 걸쳐 강력한 확장성을 달성할 수 있는가?

주요 결과

• Charm++ 기반의 비동기식 FMM은 10⁸개의 입자를 가진 매우 비균일한 Plummer 분포에서 1,000배 이상의 성능 향상을 달성하여 뛰어난 성능 향상을 입증하였다.
• 매우 뛰어난 순차 성능 덕분에 통신 오버헤드를 숨기기 어려운 상황임에도 불구하고, 비동기식 접근 방식이 여전히 버블-동기식 모델을 능가하였다.
• 모든 테스트된 분포(정육면체, 구, Plummer)에서 제안된 분할 가중치 기법이 유사한 로드 불균형을 달성하여 분포 유형에 대한 강건성을 입증하였다.
• 1,025개의 코어(2의 거듭제곱이 아님)에서도 로드 불균형이 낮게 유지되었으며, 이는 비이상적인 프로세스 수에서 분할 기법의 효과성을 확인하였다.
• 초기 분할 단계의 통신 병목 현상은 비동기 실행을 통해 완화되어 문제 크기가 세 배의 범위에 걸쳐 강력한 확장성이 달성되었다.
• 이중 트리 탐색은 국소적 및 전역적 트리 간의 명확한 분리를 가능하게 하여 Charm++와의 통합을 단순화하고 코드 복잡성을 감소시켰다.