[论文解读] 4.45 Pflops Astrophysical N-Body Simulation on K computer -- The Gravitational Trillion-Body Problem

Tomoaki Ishiyama, Keigo Nitadori+1 more|arXiv (Cornell University)|Nov 19, 2012

Computational Physics and Python Applications被引用 12

一句话总结

本论文首次在K超级计算机上实现了引力万亿体模拟，使用82,944个节点达到4.45 Pflops的性能。采用混合TreePM方法，对短程力使用高度优化的引力核函数，对长程力采用新型中继网格通信算法，实现了可扩展性能，并在大规模下达到42%的效率。

ABSTRACT

As an entry for the 2012 Gordon-Bell performance prize, we report performance results of astrophysical N-body simulations of one trillion particles performed on the full system of K computer. This is the first gravitational trillion-body simulation in the world. We describe the scientific motivation, the numerical algorithm, the parallelization strategy, and the performance analysis. Unlike many previous Gordon-Bell prize winners that used the tree algorithm for astrophysical N-body simulations, we used the hybrid TreePM method, for similar level of accuracy in which the short-range force is calculated by the tree algorithm, and the long-range force is solved by the particle-mesh algorithm. We developed a highly-tuned gravity kernel for short-range forces, and a novel communication algorithm for long-range forces. The average performance on 24576 and 82944 nodes of K computer are 1.53 and 4.45 Pflops, which correspond to 49% and 42% of the peak speed.

研究动机与目标

• 在K超级计算机上首次实现包含一万亿粒子的引力N体模拟。
• 在大规模天体物理模拟中，利用混合TreePM算法实现高性能与可扩展性。
• 克服传统树算法的局限性以及以往大规模模拟中周期性边界条件效率低下的问题。
• 针对K超级计算机的HPC-ACE架构，优化引力核函数与通信策略。
• 为涉及暗物质的宇宙结构形成研究提供实际可行的模拟时间。

提出的方法

• 采用混合TreePM算法：短程力通过树算法计算，长程力通过粒子网格（PM）方法计算。
• 在K超级计算机的HPC-ACE架构上，实现高度调优的引力核函数以计算短程力。
• 开发新型中继网格通信算法，以最小化延迟并提升长程力计算的可扩展性。
• 使用周期性边界条件，确保模拟域内的一致可靠性并提升计算效率。
• 通过领域分解、粒子交换与负载均衡，在24,576至82,944个节点间分配计算任务。
• 通过将FFT并行化限制在单个轴并使用中继网格，降低通信开销。

实验结果

研究问题

• RQ1 能否在百亿亿次级超级计算机上以高效率完成包含一万亿粒子的引力N体模拟？
• RQ2 在K超级计算机上，混合TreePM方法相较于纯树算法在性能与可扩展性方面表现如何？
• RQ3 在大规模系统中，实现长程力计算高性能所需的通信与负载均衡策略是什么？
• RQ4 与开放边界条件相比，使用周期性边界条件对模拟精度与计算效率有何影响？
• RQ5 大规模N体模拟中的性能瓶颈是什么？在现代超级计算机上如何缓解？

主要发现

• 在K超级计算机的82,944个节点上，模拟达到4.45 Pflops性能，占峰值性能的42%。
• 短程力计算每轮力循环效率达71%，归一化至理论最大值后相当于95%效率。
• 长程力计算采用中继网格方法，降低了通信开销，并在FFT进程数量有限的情况下仍实现高可扩展性。
• 每粒子的平均交互列表长度约为2,300个粒子，较以往基于GPU的模拟小6倍，得益于周期性边界条件与优化的组大小。
• 引力核函数效率达到72%，表明其对HPC-ACE架构的高度优化。
• 在82,944个节点上，每步模拟总耗时60.20秒，其中45.82秒用于短程力计算，6.74秒用于长程力计算。