[论文解读] From Piz Daint to the Stars: Simulation of Stellar Mergers using High-Level Abstractions

Gregor Daiß, Parsa Amini+8 more|Civil War Book Review|Aug 8, 2019

Parallel Computing and Optimization Techniques参考文献 52被引用 12

一句话总结

本文提出 Octo-Tiger，一种具有自适应网格加密（Adaptive Mesh Refinement）的高性能流体动力学代码，利用 HPX 和 Vc 等高级抽象模拟恒星并合。该代码在 Piz Daint 上 2048 个节点的并行效率达到 68.1%，通过用 libfabric 替代 MPI 实现最高 2.8 倍的加速，并首次在 HPX 应用中实现全系统 GPU 加速运行，显著提升了异构 HPC 系统上的节点级性能与可扩展性。

ABSTRACT

We study the simulation of stellar mergers, which requires complex simulations with high computational demands. We have developed Octo-Tiger, a finite volume grid-based hydrodynamics simulation code with Adaptive Mesh Refinement which is unique in conserving both linear and angular momentum to machine precision. To face the challenge of increasingly complex, diverse, and heterogeneous HPC systems, Octo-Tiger relies on high-level programming abstractions. We use HPX with its futurization capabilities to ensure scalability both between nodes and within, and present first results replacing MPI with libfabric achieving up to a 2.8x speedup. We extend Octo-Tiger to heterogeneous GPU-accelerated supercomputers, demonstrating node-level performance and portability. We show scalability up to full system runs on Piz Daint. For the scenario's maximum resolution, the compute-critical parts (hydrodynamics and gravity) achieve 68.1% parallel efficiency at 2048 nodes.

研究动机与目标

• 在现代 HPC 系统上，以高精度和可扩展性模拟恒星并合，特别是 V1309 Scorpii 的明亮红新星事件。
• 应对将复杂天体物理模拟移植到日益异构和复杂的 HPC 架构（包括 GPU 和多核处理器）的挑战。
• 通过用 libfabric 替代 MPI 实现低开销的一端通信，提升大规模模拟中的性能与可扩展性。
• 在包括 NVIDIA V100 GPU、Intel Xeon 和 KNL 处理器在内的多种 HPC 平台上，实现节点级性能可移植性与高效率。
• 首次在类似 Piz Daint 的 GPU 加速超算系统上实现基于 HPX 的应用全系统运行。

提出的方法

• Octo-Tiger 使用有限体积离散化与自适应网格加密求解流体动力学与引力方程，线性与角动量守恒精度达到机器精度。
• 该代码利用 HPX 的异步多任务运行时与未来化（futurization）机制，实现在节点间与节点内低开销、无锁的任务调度。
• 将 libfabric 集成为 HPX 的新型通信后端，替代 MPI，通过一端 RMA 操作降低通信开销。
• 通过 CUDA 流与 HPX 的基于任务的调度，将计算密集型 FMM 核心映射到 NVIDIA GPU，实现单个 GPU 上最多 128 个核心并行执行。
• 通过 Vc 库确保可移植向量化，实现在 Xeon 和 KNL 等 CPU 平台上的高效 SIMD 并行计算。
• 通过将计算节点划分为专用线程池用于计算与网络轮询，支持异构执行，降低资源争用。

实验结果

研究问题

• RQ1 HPX 和 Vc 等高级抽象能否在多样化的 HPC 架构上实现恒星并合模拟的可移植性、可扩展性与高性能？
• RQ2 在大规模天体物理模拟中，用 libfabric 替代 MPI 对通信效率与强可扩展性有何影响？
• RQ3 GPU 加速在多大程度上能提升流体动力学与引力求解器中关键核心（如快速多极方法）的节点级性能？
• RQ4 Octo-Tiger 在类似 Piz Daint 的 GPU 加速超算系统上大规模运行时，可达到的并行效率是多少？
• RQ5 HPX 等异步基于任务的运行时模型的集成，能否在现代异构系统上支持生产规模的模拟？

主要发现

• Octo-Tiger 在 Piz Daint 上对 V1309 Scorpii 并合事件的全系统模拟中，2048 个节点的并行效率达到 68.1%，展现出强大的可扩展性。
• 通过用 libfabric 替代 MPI，通信开销降低，实现最高 2.8 倍加速。
• FMM 核心在两块 NVIDIA V100 GPU 上达到峰值性能的 37%，显著提升节点级性能。
• 在 Intel Xeon Phi（Knights Landing）系统上，代码达到峰值性能的 17%，展现出良好的跨架构可移植性。
• 这是首次在全 GPU 加速超算系统（如 Piz Daint）上成功大规模运行基于 HPX 的应用，使用了 5400 / 5704 个节点。
• libfabric 与 GPU 加速的集成通过将通信任务隔离到专用线程池，实现了高效的网络轮询，降低争用，并在大规模下恢复性能。