[论文解读] A hybrid OpenMP and MPI implementation of a conservative spectral method for the Boltzmann equation

J. Haack|arXiv (Cornell University)|Jan 17, 2013

Gas Dynamics and Kinetic Theory参考文献 22被引用 8

一句话总结

本文提出了一种混合OpenMP与MPI的并行实现方法，用于求解玻尔兹曼方程的保守谱方法，在超算系统上实现了最多128个节点的近线性加速。该方法首次在非均匀网格上以二阶精度使用精确的玻尔兹曼碰撞算子，完成了从动能边界层出发的完全非线性激波形成模拟，即使在存在不连续性的情况下也避免了吉布斯现象。

ABSTRACT

We demonstrate the implementation of a hybrid OpenMP and MPI parallelization of a conservative spectral method for the Boltzmann equation originally developed by Gamba and Tharkabhushaman. We perform a scaling analysis to demonstrate that the problem is well suited to parallelization, and find that the computational time scales linearly with the number of compute nodes on high performance computing resources. The original method has also been improved to higher order in space and time and is implemented on non-uniform grids in physical space. We test this scheme for an example problem in which a kinetic boundary layer generates a shock wave for large space and long times. This is the first time that the fully nonlinear Boltzmann collision operator has been used to compute this problem.

研究动机与目标

• 为了实现使用确定性谱方法对完全非线性的玻尔兹曼方程进行高性能计算。
• 为了将Gamba与Tharkabhushanam提出的保守谱方法扩展至空间和时间上的二阶精度，且适用于非均匀物理网格。
• 为了在高性能计算资源上实现高效的混合OpenMP/MPI并行化策略。
• 为了在因壁面温度突变引发激波形成的基准动能边界层问题上验证该方法。
• 为了证明谱方法可在非平衡态和长时间模拟中实现高精度且无统计波动，优于蒙特卡洛方法。

提出的方法

• 该方法在傅里叶空间中采用玻尔兹曼方程的弱形式，将碰撞算子转化为加权卷积形式。
• 通过在每个时间步求解数值约束优化问题，强制保证质量、动量和能量的守恒。
• 采用混合并行策略，利用OpenMP实现节点内的共享内存并行，利用MPI实现节点间的分布式内存通信。
• 该格式采用非均匀物理空间网格上的二阶精度时间积分和空间离散化。
• 碰撞权重预先计算为六维数组 $\widehat{G}(\zeta,\xi)$，并考虑采用在线计算方式以提升内存可扩展性。
• 该方法在壁面温度突变问题上进行了测试，模拟了从分布函数初始不连续性引发的激波特形成过程。

实验结果

研究问题

• RQ1 能否在大规模HPC系统上，通过混合OpenMP/MPI方法高效并行化玻尔兹曼方程的保守谱方法？
• RQ2 二阶精度的非均匀网格实现是否能在捕捉来自动能边界层的激波特形成过程中保持稳定性和准确性？
• RQ3 计算时间随计算节点数量的增加如何变化？该方法是否实现了近线性加速？
• RQ4 在分布函数存在不连续性的情况下，谱方法是否能避免吉布斯现象，即使未使用滤波？
• RQ5 在扩展至大速度网格时，内存和计算瓶颈是什么？如何缓解这些问题？

主要发现

• 该方法在128个计算节点上实现了近线性加速，与使用32个节点（512个核心）的串行实现相比，加速比约为128。
• 每时间步的计算时间从1个节点上的456.313秒降低至128个节点上的4.042秒，表现出优异的强可扩展性。
• 该格式成功使用完整的非线性玻尔兹曼碰撞算子，实现了从壁面温度突变引发的激波特形成模拟，这是该领域内的首次实现。
• 即使在壁面附近分布函数的边缘分布存在不连续性时，解中也未观察到吉布斯现象，表明卷积权重具有稳定化作用。
• 通过约束优化确保了宏观量（质量、动量、能量）的守恒，保证了物理解释的一致性演化。
• 随着规模扩大，内存访问成为瓶颈，六维数组 $\widehat{G}(\zeta,\xi)$ 可能超出单节点内存容量；因此提出采用在线计算权重作为可扩展的替代方案。