[论文解读] High-Performance Small-Scale Simulation of Star Clusters Evolution on Cray XD1

Keigo Nitadori, Junichiro Makino+1 more|arXiv (Cornell University)|Jun 6, 2006

Advanced Data Storage Technologies参考文献 1被引用 5

一句话总结

本论文提出了一种在Cray XD1上针对直接N体模拟的高可扩展性二维并行化方案，采用个体时间步长积分，实现了64k颗恒星集群模拟的2.03 Tflops性能（理论峰值的57.7%），展示了针对O(N^3.3)复杂度的小-N天体物理模拟前所未有的性能效率。

ABSTRACT

In this paper, we describe the performance of an $N$-body simulation of star cluster with 64k stars on a Cray XD1 system with 400 dual-core Opteron processors. A number of astrophysical $N$-body simulations were reported in SCxy conferences. All previous entries for Gordon-Bell prizes used at least 700k particles. The reason for this preference of large numbers of particles is the parallel efficiency. It is very difficult to achieve high performance on large parallel machines, if the number of particles is small. However, for many scientifically important problems the calculation cost scales as $O(N^{3.3})$, and it is very important to use large machines for relatively small number of particles. We achieved 2.03 Tflops, or 57.7% of the theoretical peak performance, using a direct $O(N^2)$ calculation with the individual timestep algorithm, on 64k particles. The best efficiency previously reported on similar calculation with 64K or smaller number of particles is 12% (9 Gflops) on Cray T3E-600 with 128 processors. Our implementation is based on highly scalable two-dimensional parallelization scheme, and low-latency communication network of Cray XD1 turned out to be essential to achieve this level of performance.

研究动机与目标

• 在大规模并行机器上实现小-N N体模拟的高并行效率和绝对性能，这类模拟对O(N^3.3)复杂度的天体物理问题至关重要。
• 通过设计一种可扩展的通信优化算法，克服小-N系统中强可扩展性差的挑战，实现直接N体模拟。
• 证明现代MPP系统能够高效处理小-N模拟（如64k粒子），尽管高性能计算领域通常偏好大-N模拟。
• 通过在大规模处理器数量上实现高持续性能，实现具有真实粒子数的星团的长期、高精度模拟。

提出的方法

• 采用二维块结构域分解以最小化通信开销并最大化负载均衡。
• 实现个体（块）时间步长算法以处理广泛变化的轨道 timescales，减少总时间步数并提高积分精度。
• 使用高度优化的力计算核函数，通过汇编级优化以最大化算术强度并减少内存延迟。
• 利用Cray XD1的低延迟、高带宽互连和高度调优的MPI库，最小化通信瓶颈。
• 采用2D处理器网格布局，实现高效本地通信和最多800个处理器的可扩展数据分布。
• 使用软化引力势能，ε = 4/N，以防止近距离遭遇时的数值奇点。

实验结果

研究问题

• RQ1 在Cray XD1这类大规模并行机器上，64k粒子的直接N体模拟能否实现高性能和强可扩展性？
• RQ2 考虑到固有的通信和负载不平衡挑战，小-N N体模拟能实现多高的并行效率？
• RQ3 2D域分解与个体时间步长集成的组合在现代MPP系统上如何影响性能和可扩展性？
• RQ4 尽管存在O(N^2)力计算成本，能否在小-N模拟中实现高持续性能（例如>理论峰值的50%）？

主要发现

• 在800个处理器（400个双核Opterons）上，该模拟实现了2.03 Tflops的持续性能，占Cray XD1系统理论峰值性能的57.7%。
• 对于64k粒子，强可扩展性在512个处理器以内超过80%，展示了小-N模拟中卓越的强可扩展性。
• 在256个处理器上，16k粒子的实现达到了理论峰值的60%，显著优于类似系统上的先前结果（如GRAPE-6的13%，Cray T3E的8%）。
• 每个块时间步的通信时间平均为179 μs，由于Cray XD1的低延迟网络和优化的MPI库，该时间极短，从而实现了计算与通信的高效重叠。
• 整个模拟持续了26.4小时，共执行了4.93×10^10个时间步和1.94×10^17次浮点运算，证实了在大规模下长期、高精度模拟的可行性。
• 2D并行化方案将通信时间减少了20倍，相比非优化方法，后者性能将被限制在500 Gflops以下。