[论文解读] Modeling and analyzing performance for highly optimized propagation steps of the lattice Boltzmann method on sparse lattices

Markus Wittmann, Thomas Zeiser+2 more|arXiv (Cornell University)|Oct 1, 2014

Lattice Boltzmann Simulation Studies参考文献 12被引用 7

一句话总结

本文提出了一种针对稀疏网格上格子玻尔兹曼方法（LBM）求解器的两阶段优化策略，结合了减少间接寻址（RIA）以降低循环平衡度，以及混合枚举方法（先使用希尔伯特曲线，再进行字典序排序）以最小化通信开销，同时保持单核性能。该方法通过允许更低的时钟频率和更少的核心数量，在不损失性能的前提下实现了高达40%的能效节省。

ABSTRACT

Computational fluid dynamics (CFD) requires a vast amount of compute cycles on contemporary large-scale parallel computers. Hence, performance optimization is a pivotal activity in this field of computational science. Not only does it reduce the time to solution, but it also allows to minimize the energy consumption. In this work we study performance optimizations for an MPI-parallel lattice Boltzmann-based flow solver that uses a sparse lattice representation with indirect addressing. First we describe how this indirect addressing can be minimized in order to increase the single-core and chip-level performance. Second, the communication overhead is reduced via appropriate partitioning, but maintaining the single core performance improvements. Both optimizations allow to run the solver at an operating point with minimal energy consumption.

研究动机与目标

• 通过使用稀疏网格表示，减少LBM求解器中的内存带宽压力和循环平衡度。
• 通过RIA最小化间接寻址，提升单核性能，尤其在复杂几何结构中表现更优。
• 在大规模MPI并行模拟中降低通信开销，同时不损害单核效率。
• 通过引入一种自动化的、与几何无关的两阶段枚举方法，消除对分区参数手动调优的需求。
• 通过在更低频率下运行并减少核心数量，实现最低能耗，同时保持高性能。

提出的方法

• 应用减少间接寻址（RIA）技术，在连续流体节点形成连续运行时跳过间接内存访问，从而降低循环平衡度。
• 利用游程编码原理，识别并优化邻接列表中连续节点序列的RIA处理。
• 实施两阶段枚举：首先使用空间填充曲线（如希尔伯特曲线）实现紧凑分区，然后通过字典序排序（B=1）重编号，以实现高单核性能。
• 通过RIA在AA模式算法中实现部分向量化，尤其在奇数时间步中，提升指令级并行度。
• 在Intel Haswell和SuperMUC-2集群上，针对不同进程数和时钟频率，评估性能与能效表现。
• 采用ILBDC作为基础求解器框架，集成并基准测试RIA与双枚举方法。

实验结果

研究问题

• RQ1 RIA是否能降低稀疏网格上LBM传播步骤的循环平衡度并提升性能？
• RQ2 RIA如何在AA模式中实现部分向量化，其对性能的影响如何？
• RQ3 两阶段枚举方法（希尔伯特曲线 + 字典序排序）是否能同时实现低通信量与高单核性能，且无需手动调优？
• RQ4 在较低时钟频率（如1.2 GHz）下运行，结合优化的枚举与RIA，能效提升程度如何？
• RQ5 在不损失性能的前提下，每个节点的活动核心数可减少到何种程度，这对能效有何影响？

主要发现

• RIA降低了循环平衡度，并在使用非临时存储的两网格一步算法（OS-NT）中实现了15%的性能提升。
• 在AA模式中引入RIA后，奇数时间步实现了部分向量化，使1.2 GHz下的性能最高提升达30%，尤其在结构化几何中表现显著。
• 两阶段枚举方法（先希尔伯特曲线，再字典序排序）的性能与手动调优的字典序排序（B=100）相当，消除了对几何相关参数调优的需求。
• 通过结合希尔伯特重编号与1.2 GHz低频运行，实现了高达40%的能效节省，且性能无下降。
• 将每个节点的进程数从28减少到16并未影响性能，证实仅需3–4个核心即可饱和性能，进一步支持能效优化。
• 该方法在不同时钟频率下性能稳定，且可高效扩展；在更简单、更规则的几何结构中，由于向量化增益更高，能效节省进一步增加。