[论文解读] A hybrid MPI-OpenMP scheme for scalable parallel pseudospectral computations for fluid turbulence

Pablo D. Mininni, Duane Rosenberg+2 more|arXiv (Cornell University)|Mar 23, 2010

Solar and Space Plasma Dynamics参考文献 10被引用 11

一句话总结

本文提出了一种用于流体湍流伪谱模拟的混合MPI-OpenMP方案，结合了分而治之（MPI）和共享内存（OpenMP）并行计算，以提升在千万亿次级系统上的性能。该方案在约20,000个核心下实现了接近理想的可扩展性，平均效率达83%，并针对两种高性能平台优化了线程与进程数量。

ABSTRACT

A hybrid scheme that utilizes MPI for distributed memory parallelism and OpenMP for shared memory parallelism is presented. The work is motivated by the desire to achieve exceptionally high Reynolds numbers in pseudospectral computations of fluid turbulence on emerging petascale, high core-count, massively parallel processing systems. The hybrid implementation derives from and augments a well-tested scalable MPI-parallelized pseudospectral code. The hybrid paradigm leads to a new picture for the domain decomposition of the pseudospectral grids, which is helpful in understanding, among other things, the 3D transpose of the global data that is necessary for the parallel fast Fourier transforms that are the central component of the numerical discretizations. Details of the hybrid implementation are provided, and performance tests illustrate the utility of the method. It is shown that the hybrid scheme achieves near ideal scalability up to ~20000 compute cores with a maximum mean efficiency of 83%. Data are presented that demonstrate how to choose the optimal number of MPI processes and OpenMP threads in order to optimize code performance on two different platforms.

研究动机与目标

• 在具有大规模核心数的新兴千万亿次级架构上，实现高雷诺数流体湍流的直接数值模拟（DNS）。
• 克服纯MPI基伪谱求解器在全局FFT变换和全对全通信模式下的可扩展性限制。
• 开发一种可移植、可扩展且高效的混合并行化模型，利用MPI和OpenMP在分层多核系统中协同工作。
• 针对IBM Power6和Cray XT5等多样化平台，优化MPI进程与OpenMP线程之间的平衡以实现峰值性能。
• 拓展伪谱方法在非傅里叶基问题（如球谐函数）中的适用性，其中纯MPI二维分解方法会失效。

提出的方法

• 该方法基于已有的MPI并行化伪谱代码，采用一维板层域分解实现初始并行化。
• 在循环级别引入OpenMP指令，为每个MPI进程添加第二级并行性，实现在多核节点上的共享内存并行计算。
• 混合方案修改了域分解方式，以支持两级并行性，提升负载均衡性，并降低大规模FFT中的通信开销。
• 采用多线程FFT库加速谱变换，减少全局数据转置的延迟。
• 实现设计为无需底层调优即可在多种系统间移植，依赖标准MPI和OpenMP抽象接口。
• 性能调优包括配置MPI环境变量（如MPICH_FAST_MEMCPY）以减少内存复制延迟，但代价是增加了缓冲内存使用量。

实验结果

研究问题

• RQ1 在千万亿次系统上，混合MPI-OpenMP方法是否能比纯MPI在伪谱流体模拟中实现更好的可扩展性和性能？
• RQ2 在现代多核架构中，如何配置MPI进程与OpenMP线程以实现性能最大化？
• RQ3 线程开销和内存消耗如何影响可扩展性，特别是在高核心数和大问题规模下？
• RQ4 该混合模型能否有效支持纯MPI二维分解失效的非傅里叶谱基（如球谐函数）？
• RQ5 该混合方案在核心数和内存层次结构各异的不同硬件平台上表现如何？

主要发现

• 混合MPI-OpenMP方案在约20,000个计算核心下实现了接近理想的可扩展性，最大平均效率达83%。
• 在Cray XT5系统（kraken）上，对于大问题，每个MPI进程使用12个OpenMP线程可实现最佳性能；而在小规模工作负载下，6个线程因线程开销更低而表现更优。
• 在IBM Power6系统（bluefire）上，当每个插槽核心数较少时，线程开销在较低分辨率下已变得显著，限制了可扩展性。
• 使用MPI环境变量MPICH_FAST_MEMCPY可带来8–10%的性能提升，但增加了缓冲内存需求，可能在大分辨率下导致内存溢出。
• 该混合方法减少了MPI进程数量，从而降低了缓冲内存需求，缓解了与MPI相关的内存瓶颈。
• 该方法在非立方体域中也表现有效，展示了在计算几何中不同纵横比下的鲁棒性。