[论文解读] A FFT-accelerated multi-block finite-difference solver for massively parallel simulations of incompressible flows

Pedro Costa|arXiv (Cornell University)|Jun 7, 2021

Computational Fluid Dynamics and Aerodynamics参考文献 53被引用 13

一句话总结

本论文提出SNaC，一种开源的、基于FFT加速的多块有限差分求解器，用于不可压缩流体的海量并行直接数值模拟（DNS）。通过在均匀方向上应用基于FFT的本征函数展开，将三维泊松方程降维为多个二维亥姆霍兹问题，并利用几何多重网格法求解，该方法相较非FFT方法将计算成本降低了高达8倍，同时支持多种边界条件，并在极端HPC架构上实现高效扩展。

ABSTRACT

We present a multi-block finite-difference solver for massively parallel Direct Numerical Simulations (DNS) of incompressible flows. The algorithm combines the versatility of a multi-block solver with the method of eigenfunctions expansions, to speedup the solution of the pressure Poisson equation. This is achieved by employing FFT-based transforms along one homogeneous direction, which effectively reduce the problem complexity at a low cost. These FFT-based expansions are implemented in a framework that unifies all valid combinations of boundary conditions for this type of method. Subsequently, a geometric multigrid solver is employed to solve the reduced Poisson equation in a multi-block geometry. Particular care was taken here, to guarantee the parallel performance of the multigrid solver when solving the reduced linear systems equations. We have validated the overall numerical algorithm and assessed its performance in a massively parallel setting. The results show that 2- to 8-fold reductions in computational cost may be easily achieved when exploiting FFT acceleration for the solution of the Poisson equation. The solver, SNaC, has been made freely available and open-source under the terms of an MIT license.

研究动机与目标

• 开发一种高效、大规模并行的不可压缩流体DNS求解器，以克服求解压力泊松方程带来的计算瓶颈。
• 通过将基于FFT的泊松求解器扩展至复杂几何形状，将其集成到支持复杂区域和多样化边界条件的多块框架中。
• 通过结合FFT加速与几何多重网格求解器，并优化处理器间任务分配，确保高并行性能。
• 提供一种自由获取、开源且可扩展的求解器（SNaC），支持湍流、气液两相流及复杂几何形状的高级模拟。

提出的方法

• 求解器在结构化多块网格上采用二阶有限差分/有限体积法对不可压缩纳维-斯托克斯方程进行离散化。
• 沿一个均匀（拉伸）方向应用基于FFT的本征函数展开，将三维泊松方程分解为多个独立的二维亥姆霍兹问题。
• 每个降维后的二维问题通过几何多重网格（GMG）求解器求解，使用hypre库实现高性能并行化。
• 通过统一框架支持本征函数展开的所有有效边界条件组合，包括非周期性边界条件。
• 采用切片细长条（sliced pencils）方法平衡负载，并应对不同二维问题中收敛速率不均的问题，从而提升并行效率。
• 整个算法在大规模并行环境中使用MPI实现，通过优化减少通信开销，确保在极端规模系统上实现强可扩展性和弱可扩展性。

实验结果

研究问题

• RQ1 基于FFT的本征函数展开能否有效扩展至多块、非周期性几何形状，以加速不可压缩流体DNS中的泊松方程求解？
• RQ2 FFT加速与几何多重网格结合在现代HPC系统上的可扩展性和计算效率表现如何？
• RQ3 在不同收敛速率条件下，如何最优地划分并分配二维降维问题至处理器，以实现负载均衡并最小化运行时间？
• RQ4 该方法能否在保持高精度和复杂边界条件支持的前提下，相较传统求解器实现显著加速（如2–8倍）？
• RQ5 在极端规模问题和核心数量下，该求解器的扩展性能如何，尤其与朴素或次优并行化策略相比？

主要发现

• 基于FFT的加速方法相较非FFT方法，将求解泊松方程的计算成本降低了高达8倍，在模拟中观察到2至8倍的加速效果。
• 求解器在Betzy超算系统上实现了高达65,536个核心的优异弱可扩展性和强可扩展性，每网格点的运行时间近乎理想地随核心数增加而线性减少。
• 采用FFT加速的三维多重网格（3D MG w/ FFT）在极端规模下表现最佳，而朴素的二维多重网格结合FFT方法因通信开销和负载不均而失败或性能低下。
• 采用p ≈ 16的切片细长条方法在任务负载与收敛不均性之间取得良好平衡，通过优化任务分配显著减少了每时间步的运行时间。
• 该方法通过统一的本征函数展开框架成功处理了多种边界条件，其适用范围广于以往基于FFT的求解器。
• SNaC求解器以MIT许可证开源，已在典型流动（如顶盖驱动涡流）上完成验证，表现出高精度与高性能。