[논문 리뷰] From Piz Daint to the Stars: Simulation of Stellar Mergers using High-Level Abstractions

Gregor Daiß, Parsa Amini외 8명|Civil War Book Review|2019. 08. 08.

Parallel Computing and Optimization Techniques참고 문헌 52인용 수 12

한 줄 요약

이 논문은 고성능 유체역학 코드인 Octo-Tiger를 제시하며, 적응형 메쉬 정밀도(Adaptive Mesh Refinement)를 사용하여 항성 융합을 시뮬레이션한다. HPX와 Vc와 같은 고수준 추상화를 활용하며, Piz Daint에서 2048개 노드에서 68.1%의 병렬 효율을 달성하고, MPI를 libfabric로 교체함으로써 최대 2.8배의 성능 향상을 이루었으며, HPX 애플리케이션에서 처음으로 전체 시스템 GPU 가속을 구현하여 이질적 HPC 시스템에서 노드 수준 성능과 확장성에 중대한 향상을 이룬다.

ABSTRACT

We study the simulation of stellar mergers, which requires complex simulations with high computational demands. We have developed Octo-Tiger, a finite volume grid-based hydrodynamics simulation code with Adaptive Mesh Refinement which is unique in conserving both linear and angular momentum to machine precision. To face the challenge of increasingly complex, diverse, and heterogeneous HPC systems, Octo-Tiger relies on high-level programming abstractions. We use HPX with its futurization capabilities to ensure scalability both between nodes and within, and present first results replacing MPI with libfabric achieving up to a 2.8x speedup. We extend Octo-Tiger to heterogeneous GPU-accelerated supercomputers, demonstrating node-level performance and portability. We show scalability up to full system runs on Piz Daint. For the scenario's maximum resolution, the compute-critical parts (hydrodynamics and gravity) achieve 68.1% parallel efficiency at 2048 nodes.

연구 동기 및 목표

• 현대 HPC 시스템에서 높은 정확도와 확장성을 갖춘 항성 융합, 특히 V1309 Scorpii의 밝은 빨간색 초신성 사건을 시뮬레이션하기 위해.
• 점점 더 이질적이고 복잡한 HPC 아키텍처(예: GPU 및 멀티코어 프로세서 포함)로 복잡한 천체물리 시뮬레이션을 이식하는 데 도전하는 데 목적이 있다.
• 대규모 시뮬레이션에서 일방적(RMA) 연산을 통해 통신 오버헤드를 줄이기 위해 MPI를 libfabric로 교체함으로써 성능과 확장성을 향상시키기 위해.
• 다양한 HPC 플랫폼(예: NVIDIA V100 GPU, Intel Xeon, KNL 프로세서 포함)에서 노드 수준 성능 이식성과 고효율을 확보하기 위해.
• Piz Daint와 같은 GPU 가속 슈퍼컴퓨터에서 HPX 기반 애플리케이션의 첫 번째 전체 시스템 실행을 보여주기 위해.

제안 방법

• Octo-Tiger는 선형 및 각운동량을 기계 정밀도 수준에서 보존하는 유한체적 이산화와 적응형 메쉬 정밀도를 사용하여 유체역학 및 중력 방정식을 해결한다.
• 코드는 HPX의 비동기 다수 작업 런타임과 향후화(futurization)를 활용하여 노드 간 및 노드 내에서 잠금이 없는 저오버헤드 작업 스케줄링을 가능하게 한다.
• libfabric는 HPX의 새로운 통신 백엔드로 통합되어 MPI를 대체하여 일방적 RMA 연산을 통해 통신 오버헤드를 감소시킨다.
• GPU 가속은 CUDA 스트림과 HPX의 작업 기반 스케줄링을 사용하여 계산 집약적인 FMM 커널을 NVIDIA GPU에 매핑함으로써 달성되며, 최대 128개의 커널을 GPU당 동시에 처리할 수 있다.
• Vc 라이브러리를 통해 이식 가능한 벡터화를 보장하여 Xeon 및 KNL을 포함한 다양한 CPU 플랫폼에서 효율적인 SIMD 병렬 처리를 가능하게 한다.
• 계산 노드를 전용 스레드 풀(계산 및 네트워크 풀링 전용)로 분할하여 이질적 실행을 지원함으로써 경쟁을 줄인다.

실험 결과

연구 질문

• RQ1 HPX와 Vc와 같은 고수준 추상화가 다양한 HPC 아키텍처에서 이식성, 확장성, 고성능으로 항성 융합을 시뮬레이션하는 데 효과적인가?
• RQ2 MPI를 libfabric로 교체하면 대규모 천체물리 시뮬레이션에서 통신 효율성과 강한 확장성에 어떤 영향을 미치는가?
• RQ3 GPU 가속은 유체역학 및 중력 해법에서 핵심 커널인 빠른 다체법(FMM)의 노드 수준 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 Piz Daint와 같은 GPU 가속 슈퍼컴퓨터에서 Octo-Tiger의 스케일링 시 기대 가능한 병렬 효율은 얼마인가?
• RQ5 비동기 작업 기반 런타임 모델인 HPX의 통합이 현대의 이질적 시스템에서 생산 수준의 시뮬레이션을 가능하게 하는가?

주요 결과

• Octo-Tiger는 Piz Daint에서 V1309 Scorpii 융합의 전체 시스템 시뮬레이션 중 2048개 노드에서 68.1%의 병렬 효율을 달성하여 강한 확장성을 입증했다.
• MPI를 libfabric로 교체함으로써 일방적 RMA 연산을 통해 통신 오버헤드를 줄여 2.8배의 성능 향상을 이룬다.
• FMM 커널은 두 개의 NVIDIA V100 GPU에서 최대 37%의 피크 성능을 달성하여 노드 수준 성능을 크게 향상시켰다.
• Intel Xeon Phi(Knights Landing) 시스템에서는 피크 성능의 17%를 기록하여 다양한 아키텍처 간 효과적인 이식성을 입증했다.
• 이번이 처음으로 HPX 기반 애플리케이션이 GPU 가속 슈퍼컴퓨터인 Piz Daint에서 전체 시스템 수준에서 성공적으로 실행되었으며, 총 5704개 노드 중 5400개 노드를 사용했다.
• libfabric 및 GPU 가속 통합으로 전용 스레드 풀에 통신 작업을 분리함으로써 효율적인 네트워크 풀링이 가능해졌고, 경쟁이 감소하여 스케일링 시 성능 복원이 가능해졌다.