[论文解读] A comparison of techniques for solving the Poisson equation in CFD

Nick Brown|arXiv (Cornell University)|Oct 27, 2020

Wind and Air Flow Studies参考文献 8被引用 7

一句话总结

本文评估了在 MONC 大气模型动力核心中求解泊松方程的直接 FFT 方法与迭代求解器（GMRES、BiCGStab、CG）的性能，比较了在最多 32,768 个 Cray XC30 核心上的运行时间、可扩展性和内存使用情况。专用 BiCGStab 求解器实现了最低的运行时间（4.98e-3 秒），而 FFT 由于具备高效的互连通信，表现出良好的可扩展性；但在超大规模并行环境下，迭代方法更具优势。

ABSTRACT

CFD is a ubiquitous technique central to much of computational simulation such as that required by aircraft design. Solving of the Poisson equation occurs frequently in CFD and there are a number of possible approaches one may leverage. The dynamical core of the MONC atmospheric model is one example of CFD which requires the solving of the Poisson equation to determine pressure terms. Traditionally this aspect of the model has been very time consuming and-so it is important to consider how we might reduce the runtime cost. In this paper we survey the different approaches implemented in MONC to perform the pressure solve. Designed to take advantage of large scale, modern, HPC machines, we are concerned with the computation and communication behaviour of the available techniques and in this text we focus on direct FFT and indirect iterative methods. In addition to describing the implementation of these techniques we illustrate on up to 32768 processor cores of a Cray XC30 both the performance and scalability of our approaches. Raw runtime is not the only measure so we also make some comments around the stability and accuracy of solution. The result of this work are a number of techniques, optimised for large scale HPC systems, and an understanding of which is most appropriate in different situations.

研究动机与目标

• 优化 MONC 大气模型动力核心中的压力求解过程，该过程是主要的性能瓶颈。
• 评估在大规模 HPC 系统上，直接 FFT 与迭代求解器在计算与通信之间的权衡。
• 确定未来 CFD 与大气建模中面向百亿亿次计算工作负载的最可扩展且高效的求解器。
• 评估求解器选择对不同问题规模与处理器数量下的运行时间、内存使用与稳定性的影响。
• 根据问题配置、系统规模与硬件特性，为用户提供最优求解器选择指导。

提出的方法

• 使用 FFTW 实现基于直接 FFT 的方法，进行三维傅里叶变换，采用 X 和 Y 方向的块分解与 Z 方向的列式三对角求解。
• 开发专用的迭代求解器（BiCGStab、CG），并集成基于 PETSc 的 GMRES 与 BiCGStab 以进行对比，采用矩阵自由运算方式。
• 在 Cray XC30 系统上进行弱缩放实验，每个核心分配 65,536 个局部网格点，测量最多达 32,768 个核心的性能表现。
• 测量不同求解器类型与系统配置下的运行时间、通信量、内存使用与稳定性。
• 通过分析数据移动模式（尤其是 FFT 中的转置步骤）来评估通信开销的影响。
• 通过比较核心数量增加时的性能趋势，评估可扩展性，特别关注超过 32,768 个核心时的未来百亿亿次系统表现。

实验结果

研究问题

• RQ1 在 CFD 动力核心中求解泊松方程时，直接 FFT 与迭代求解器在运行时间与通信成本方面有何差异？
• RQ2 FFT 与迭代求解器在大规模 HPC 系统上的可扩展性如何，特别是在 32,768 个核心及以上的规模？
• RQ3 求解器的选择如何影响内存使用，尤其是在局部问题规模扩展时？
• RQ4 哪种求解器在 MONC 模型的压力校正步骤中实现了性能、稳定性与内存效率的最佳平衡？
• RQ5 对 FFT 实现进行通信优化，能否降低开销并在未来百亿亿次架构中提升可扩展性？

主要发现

• 专用 BiCGStab 求解器实现了最低的平均求解时间（4.98e-3 秒），优于基于 PETSc 的求解器与 CG，因其开销更低。
• 直接 FFT 方法在 Cray XC30 上表现出良好可扩展性，得益于其高效的 Aries 互连，但通信成本随规模增加而愈发显著。
• 基于 PETSc 的迭代求解器因矩阵与向量抽象的开销导致更高的内存使用，因此在大本地域中不适用。
• 专用迭代求解器内存效率最高，仅需少量缓冲区用于边界交换，紧随其后的是 FFT。
• 在超过 32,768 个核心的规模下，预计迭代求解器将优于 FFT，因其通信量更少且负载均衡更优。
• 若在 FFT 流水线中消除 Y 维度的中间转置步骤，可将通信量减少 50%，显著提升可扩展性。