[논문 리뷰] Pipelining the Fast Multipole Method over a Runtime System

Emmanuel Agullo, Bérenger Bramas외 4명|arXiv (Cornell University)|2012. 06. 01.

Electromagnetic Scattering and Analysis참고 문헌 32인용 수 5

한 줄 요약

이 논문은 이질적 CPU-GPU 아키텍처에서 FMM 계산을 파이프라인화하기 위해 태스크 기반 런타임 시스템(StarPU)을 사용하여 고성능이며 이식 가능한 Fast Multipole Method(FMM) 구현을 제시한다. FMM를 데이터플로우 태스크 그래프로 표현하고, 특히 P2P 및 M2L를 GPU로 이관함으로써 계산 집약적인 커널을 처리함으로써, 160개의 CPU 코어에서 2억 개 입자를 위해 48.7초, 12개의 CPU 코어와 3개의 NVIDIA M2090 GPU를 사용한 3800만 개 입자를 위해 13.34초를 기록하였으며, 이는 최적화된 아키텍처 전용 구현과 비교해도 성능가치를 유지하거나 초월한다.

ABSTRACT

Fast Multipole Methods (FMM) are a fundamental operation for the simulation of many physical problems. The high performance design of such methods usually requires to carefully tune the algorithm for both the targeted physics and the hardware. In this paper, we propose a new approach that achieves high performance across architectures. Our method consists of expressing the FMM algorithm as a task flow and employing a state-of-the-art runtime system, StarPU, in order to process the tasks on the different processing units. We carefully design the task flow, the mathematical operators, their Central Processing Unit (CPU) and Graphics Processing Unit (GPU) implementations, as well as scheduling schemes. We compute potentials and forces of 200 million particles in 48.7 seconds on a homogeneous 160 cores SGI Altix UV 100 and of 38 million particles in 13.34 seconds on a heterogeneous 12 cores Intel Nehalem processor enhanced with 3 Nvidia M2090 Fermi GPUs.

연구 동기 및 목표

• 저수준 최적화 없이 다양한 아키텍처에서 고성능 이식 가능한 FMM 구현을 가능하게 하기 위해.
• 이질적 환경에서 불규칙하고 데이터에 의존적인 FMM 태스크 흐름을 파이프라인화하는 데 도전 과제를 해결하기 위해.
• 단일 이식 가능한 소스 코드 기반으로 수작업 최적화된 아키텍처 전용 FMM 코드 수준의 성능를 달성하기 위해.
• 하이브리드 CPU-GPU 시스템에서 근접장(P2P)과 원거리장(M2L) 계산 간의 동적 로드 밸런싱을 탐색하기 위해.
• FMM와 같은 불규칙한 HPC 커널에 대해 태스크 기반 런타임 시스템(예: StarPU)의 효과성을 평가하기 위해.

제안 방법

• FMM 알고리즘은 P2M, M2M, L2L, L2P, M2L 연산을 포함한 방향성 비순환 그래프(DAG) 형태의 계산 태스크로 분해된다.
• CPU 및 GPU 자원 간의 동적 스케줄링을 관리하기 위해 StarPU 런타임 시스템을 사용한 태스크 기반 프로그래밍 모델이 적용된다.
• 특히 P2P 및 M2L에 중점을 두고 데이터 레벨 병렬성을 극대화하기 위해 고유의 최적화된 CPU 및 GPU 커널이 구현된다.
• 자원 간의 균형 잡힌 로드 분배와 유휴 시간 최소화를 위해 Eager 및 HEFT와 같은 스케줄링 전략이 평가된다.
• 최적의 파이프라인 효율성을 위해 작업의 크기 및 데이터 분포를 지도하는 실험적 성능 모델이 도출된다.
• 알고리즘적 일반성을 유지하면서도 고성능를 달성하기 위해 '블랙박스' 형태의 FMM 정식화를 활용한다.

실험 결과

연구 질문

• RQ1 이질적 CPU-GPU 아키텍처에서 태스크 기반 런타임 시스템을 사용하여 FMM 알고리즘이 효과적으로 파이프라인화될 수 있는가?
• RQ2 불규칙한 FMM 워크로드에서 높은 병렬 효율성을 달성하기 위해 작업의 크기와 스케줄링을 어떻게 최적화할 수 있는가?
• RQ3 수작업 최적화된 아키텍처 전용 코드와 비교해 단일 이식 가능한 FMM 구현에서 달성할 수 있는 성능는 어떠한가?
• RQ4 하이브리드 시스템에서 근접장(P2P)과 원거리장(M2L) 연산 간의 동적 로드 밸런싱은 전체 성능에 어떤 영향을 미치는가?
• RQ5 이식성 손실 없이 P2P 및 M2L 커널을 GPU로 이관함으로써 성능 향상을 얼마나 달성할 수 있는가?

주요 결과

• FMM는 StarPU를 통해 성공적으로 파이프라인화되었으며, 160코어의 동일한 SGI Altix UV 100 시스템에서 2억 개 입자를 위해 48.7초를 기록하였다.
• 3800만 개 입자를 대상으로 한 구현은 12코어 인텔 네할렘 시스템에 3개의 NVIDIA M2090 GPU를 추가한 이질적 환경에서 13.34초를 기록하였다.
• 이질적 시스템에서의 성능는 수작업 최적화된 아키텍처 전용 FMM 코드 수준을 충족하거나 초월하였으며, 성능 손실 없이 이식성을 확보하였다.
• HEFT 알고리즘을 사용한 동적 스케줄링은 Eager 스케줄러에서 관찰된 스케줄링 이질성 문제를 해결하였으며, 특히 저정밀도, 근접장 지배적인 케이스에서 유의미하였다.
• 특히 근접장 계산이 지배적인 경우, P2P 및 필요에 따라 M2L 커널을 GPU로 이관함으로써 강력한 로드 밸런싱을 달성하였다.
• 본 연구는 태스크 기반 런타임 시스템과 최적화된 GPU 커널을 활용함으로써 단일 이식 가능한 FMM 소스 코드 기반으로 다양한 아키텍처에서 고성능를 달성할 수 있음을 입증하였다.