[论文解读] Efficient LBM on GPUs for dense moving objects using immersed boundary condition

Joël Bény, Jonas Lätt|arXiv (Cornell University)|Mar 27, 2019

Lattice Boltzmann Simulation Studies被引用 5

一句话总结

本论文提出了一种基于GPU加速的格子玻尔兹曼方法（LBM）实现，采用浸入边界条件（IBM）模拟密集、移动的刚性物体，如多个旋转螺旋桨。通过将流体与表面计算解耦为独立的CUDA内核，并优化内存访问模式，该方法在拥有70,740个拉格朗日点的情况下，相较于CPU执行实现了高达19.7倍的加速，展示了在高度密集、复杂的流体-物体相互作用中具备稳健的性能表现。

ABSTRACT

There exists an increasing interest for using immersed boundary methods (IBMs) (Peskin 2000) to model moving objects in computational fluid dynamics. Indeed, this approach is particularly efficient, because the fluid mesh does not require to be body-fitted or to adjust dynamically to the motion of the body. Frequently, IBMs are implemented in combination with the lattice Boltzmann methods (LBM) (Kr\\"uger 2016). They fit elegantly into the framework of this method, and yield impressive parallel performances. It has also become quite common to accelerate LBM simulations with the use of Graphics Processing Units (GPUs) (T\\"olke 2010), as the underlying algorithm adjusts naturally to the architecture of such platforms. It is not uncommon that speedups of an order of magnitude, or more, at equal financial cost or energy consumption are observed, as compared to classical CPUs. IBM algorithms are however more difficult to adapt to GPUs, because their complex memory access pattern conflicts with a GPU's strategy of broadcasting data to a large number of GPU cores in single memory accesses. In the existing literature, GPU implementations of LBM-IBM codes are therefore restricted to situations in which the immersed surfaces are very small compared to the total number of fluid cells (Valero-Lara 2014), as is often the case in exterior flow simulations around an obstacle. This assumption is however not valid in many other cases of interest. We propose a new method for the implementation of a LBM-IBM on GPUs in the CUDA language, which allows to handle a substantially larger immersed surfaces with acceptable performance than previous implementations.

研究动机与目标

• 为解决在流体流动中高效模拟密集移动刚体的挑战，采用GPU加速技术。
• 克服传统IBM实现方法在GPU上因不规则内存访问和非局部操作导致的性能瓶颈。
• 即使浸入表面占据流体域的较大比例（如血液细胞模拟或多螺旋桨系统），仍保持高性能的GPU计算能力。
• 开发一种基于CUDA的LBM-IBM框架，使其在拉格朗日点数量增加时仍具备良好的可扩展性，同时保持数值精度。
• 证明即使在CPU方法可能因内存访问不规则性而表现更优的场景下，GPU加速依然具有显著有效性。

提出的方法

• 采用D3Q19格子玻尔兹曼模型与BGK碰撞模型，在静态欧拉网格上模拟流体动力学。
• 浸入的刚性体通过带有直接力施加的拉格朗日点表示，力通过基于核函数的插值在流体点与固体力点之间传递。
• 算法被划分为两个CUDA内核：一个用于流体到表面的数据传输（速度插值），另一个用于表面到流体的力施加，从而实现更好的内存合并。
• 实现采用基于核函数的力扩散与插值方法，并通过优化内存遍历方式减少非合并内存访问。
• 评估了两种策略——核函数法与盒式法——用于力扩散，结果显示在稀疏到中等物体密度下，核函数法性能更优。
• 性能以每秒百万个格子单元更新次数（Mlups）衡量，并与使用MPI并行化的CPU版本Palabos实现进行比较。

实验结果

研究问题

• RQ1 当浸入物体占据流体域较大比例时，GPU加速的LBM-IBM实现是否仍能保持高性能？
• RQ2 随着拉格朗日点数量的增加，基于核函数与基于盒式的力扩散策略的性能扩展特性如何？
• RQ3 IBM的不规则内存访问模式在密集移动物体模拟中对GPU加速的限制程度如何？
• RQ4 在复杂且高度密集的流固耦合相互作用问题中，GPU实现相较于CPU实现可达到多大程度的加速？
• RQ5 所提出的基于CUDA的LBM-IBM框架能否处理如多个旋转螺旋桨或红细胞等真实、高密度的配置？

主要发现

• 对于单个旋转螺旋桨，GPU实现的峰值性能达到893 Mlups，而CPU仅为45.3 Mlups，实现19.7倍加速。
• 在六个螺旋桨的情况下，GPU性能达到650 Mlups，而CPU仅为21.7 Mlups，密集场景下实现15.8倍加速。
• 在18个螺旋桨（70,740个拉格朗日点）的情况下，GPU仍保持15.8倍于CPU的加速，表明在高物体密度下性能依然稳定。
• 在1至6个螺旋桨的所有情况下，基于核函数的力扩散策略均优于盒式策略，且随着物体数量增加，性能差距进一步扩大。
• 随着拉格朗日点数量增加，性能因内存带宽受限和非合并访问而下降，但GPU仍比CPU高出一个数量级。
• 该实现对复杂、高密度模拟（如红细胞模拟）依然可行，而传统GPU-IBM方法因内存访问瓶颈而失效。