[论文解读] GRACOS: Scalable and Load Balanced P3M Cosmological N-body Code

Alexander Shirokov, Edmund Bertschinger|arXiv (Cornell University)|May 5, 2005

Scientific Research and Discoveries参考文献 3被引用 3

一句话总结

GRACOS 是一种可扩展的、负载均衡的 P3M 宇宙学 N 体代码，适用于分布式内存集群，结合了基于傅里叶变换的网格方法进行长程力计算（静态一维板层分解），以及基于希尔伯特空间填充曲线的动态域分解方法进行短程力计算（直接求和）。该方法在 $800^3$ 模拟中实现了接近最优的负载均衡和高达 80 个处理器的强可扩展性，即使在极端质量非均匀性条件下也表现出色。

ABSTRACT

We present a parallel implementation of the particle-particle/particle-mesh (P3M) algorithm for distributed memory clusters. The GRACOS (GRAvitational COSmology) code uses a hybrid method for both computation and domain decomposition. Long-range forces are computed using a Fourier transform gravity solver on a regular mesh; the mesh is distributed across parallel processes using a static one-dimensional slab domain decomposition. Short-range forces are computed by direct summation of close pairs; particles are distributed using a dynamic domain decomposition based on a space-filling Hilbert curve. A nearly-optimal method was devised to dynamically repartition the particle distribution so as to maintain load balance even for extremely inhomogeneous mass distributions. Tests using $800^3$ simulations on a 40-processor beowulf cluster showed good load balance and scalability up to 80 processes. We discuss the limits on scalability imposed by communication and extreme clustering and suggest how they may be removed by extending our algorithm to include adaptive mesh refinement.

研究动机与目标

• 开发一种用于分布式内存集群（特别是 Beowulf 集群）的消息传递 P3M N 体代码，以克服现有 P3M 实现的局限性。
• 解决在高度非均匀质量分布的 N 体模拟中出现的负载不平衡问题。
• 通过混合域分解策略，在宇宙学模拟中实现强可扩展性和接近最优的负载均衡。
• 通过结合基于傅里叶变换的长程力计算与直接短程力计算，实现高效的大规模宇宙学模拟，具备高动态范围。

提出的方法

• 使用静态的一维板层分解方法，将粒子-网格（PM）力计算分发到各个进程，以实现高效的基于 FFT 的长程力计算。
• 采用基于希尔伯特空间填充曲线的动态域分解方法，将粒子分发用于直接短程力计算，保持空间局部性。
• 通过希尔伯特曲线索引动态重新划分粒子，以在模拟过程中保持负载均衡，即使粒子聚类随时间演化。
• 将粒子位置映射到希尔伯特曲线索引，以实现高效、保持局部性的域分解，并减少通信开销。
• 使用 FFTW 库在网格上执行分布式 FFT，每个进程负责网格的一个板层，以最小化通信开销。
• 通过优化内存访问模式，优先使用直接数组索引而非重复调用函数，避免频繁调用昂贵的希尔伯特曲线函数。

实验结果

研究问题

• RQ1 如何在分布式内存的 Beowulf 集群上高效并行化 P3M N 体代码，以在极端粒子聚集条件下保持负载均衡？
• RQ2 在演化过程中呈现非均匀粒子分布的宇宙学 N 体模拟中，最小化负载不平衡的最优动态域分解策略是什么？
• RQ3 结合静态网格分解与动态粒子分解的混合方法是否能在大规模宇宙学模拟中实现强可扩展性？
• RQ4 与其它空间填充曲线相比，基于希尔伯特曲线的粒子分布方法在负载均衡和通信效率方面表现如何？
• RQ5 当前 P3M 算法的通信和可扩展性限制是什么？如何通过自适应网格细化加以缓解？

主要发现

• GRACOS 在 40 节点的 Beowulf 集群上，于 $800^3$ 模拟中实现了良好的负载均衡和高达 80 个处理器的强可扩展性。
• 基于希尔伯特曲线的动态粒子分解方法在极端质量聚类条件下仍能有效维持负载均衡，显著减少了处理器的空闲时间。
• 该代码通过根据粒子演化空间分布动态重新划分粒子，实现了近乎最优的负载均衡。
• 希尔伯特曲线映射实现了高效、保持局部性的域分解，降低了通信成本并提升了缓存性能。
• 在 $m=9$ 时，单次希尔伯特曲线函数调用（hilbert_c2i）的 CPU 时间约为 1.056 纳秒，比三次数组访问慢约 120 倍，但通过减少重复调用已实现性能优化。
• 结合静态网格分解与动态粒子分解的混合方法成功平衡了计算负载，同时保持了高可扩展性和效率。