[论文解读] A modular massively parallel computing environment for three-dimensional multiresolution simulations of compressible flows

Nils Hoppe, Stefan Adami+1 more|arXiv (Cornell University)|Dec 8, 2020

Computational Fluid Dynamics and Aerodynamics参考文献 45被引用 4

一句话总结

该论文提出了一种模块化、大规模并行、基于块的多分辨率（MR）框架，用于使用有限体积法和加权非线性重构的三维可压缩流模拟。通过采用改进的Morton顺序进行邻居通信，并结合基于MPI的域分解，该方法实现了高效的负载均衡和高可扩展性——在约10³个核心上实现了超过十亿个单元的有效分辨率，表现出良好的强弱可扩展性性能。

ABSTRACT

Numerical investigation of compressible flows faces two main challenges. In order to accurately describe the flow characteristics, high-resolution nonlinear numerical schemes are needed to capture discontinuities and resolve wide convective, acoustic and interfacial scale ranges. The simulation of realistic 3D problems with state-of-the-art FVM based on approximate Riemann solvers with weighted nonlinear reconstruction schemes requires the usage of HPC architectures. Efficient compression algorithms reduce computational and memory load. Fully adaptive MR algorithms with LTS have proven their potential for such applications. While modern CPU require multiple levels of parallelism to achieve peak performance, the fine grained MR mesh adaptivity results in challenging compute/communication patterns. Moreover, LTS incur for strong data dependencies which challenge a parallelization strategy. We address these challenges with a block-based MR algorithm, where arbitrary cuts in the underlying octree are possible. This allows for a parallelization on distributed-memory machines via the MPI. We obtain neighbor relations by a simple bit-logic in a modified Morton Order. The block-based concept allows for a modular setup of the source code framework in which the building blocks of the algorithm, such as the choice of the Riemann solver or the reconstruction stencil, are interchangeable without loss of parallel performance. We present the capabilities of the modular framework with a range of test cases and scaling analysis with effective resolutions beyond one billion cells using $\mathcal{O}(10^3)$ cores.

研究动机与目标

• 为解决使用自适应网格细化进行高分辨率三维可压缩流模拟时面临的计算与内存挑战。
• 开发一种可扩展、模块化且可移植的高性能计算（HPC）框架，支持多种数值格式和流体模型。
• 克服分布式内存系统中细粒度网格自适应与局部时间步长（LTS）的性能瓶颈。
• 在现代HPC架构上实现高效多分辨率模拟，具备高阶精度与守恒特性。

提出的方法

• 采用基于块的多分辨率算法，结合任意八叉树切割，通过MPI实现高效的域分解。
• 利用改进的Morton顺序与位运算操作计算邻居关系，无需显式查找表。
• 引入基于层级空间填充曲线（SFC）的负载均衡策略，实现处理器间工作量的均衡分配。
• 通过模块化的C++框架支持可互换的数值核（如黎曼求解器、重构 stencils），且不损失性能。
• 实现自适应局部时间步长（ALTS），以降低低动态区域的计算成本。
• 采用基于小波的压缩技术，根据截断误差动态细化网格，聚焦于需要高分辨率的区域。

实验结果

研究问题

• RQ1 如何在具有复杂通信模式的分布式内存HPC系统上高效并行化多分辨率框架？
• RQ2 与基于单元的方法相比，采用改进Morton顺序的基于块的多分辨率方法在性能和可扩展性方面保持多大程度的优越性？
• RQ3 模块化设计是否能够在不牺牲并行效率的前提下支持多种高阶数值格式？
• RQ4 该框架在数千个核心上对大规模三维可压缩流问题的弱可扩展性和强可扩展性表现如何？
• RQ5 通过自适应局部时间步长和基于块的细化，能够实现多高的网格压缩率和计算效率？

主要发现

• 该框架在1,680个核心上实现了良好的并行效率，表现出强可扩展性和弱可扩展性，证明了其在大规模HPC系统上的高性能。
• 实现了超过十亿个单元的有效分辨率，支持复杂三维可压缩流的高保真模拟。
• 获得了与基于单元的MR方法相当的网格压缩比，证实了基于块方法的有效性。
• 模块化设计允许无缝集成不同的黎曼求解器和重构格式，且无性能下降。
• 采用改进的Morton顺序可通过位运算实现快速邻居通信，降低运行时开销。
• 该框架为开源且可投入生产使用，已在多个测试用例（包括激波管、涡流相互作用和湍流流场）中得到验证，性能表现可靠。