[论文解读] A quantitative performance analysis for Stokes solvers at the extreme scale

Björn Gmeiner, Markus Huber+3 more|arXiv (Cornell University)|Nov 6, 2015

Advanced Numerical Methods in Computational Mathematics参考文献 19被引用 3

一句话总结

本文针对在极端规模架构上使用低阶四面体有限元求解斯托克斯系统，系统地分析了三种并行迭代求解器的性能。乌扎瓦型多重网格求解器表现最佳，在 786,432 个线程上，1.1×10¹³ 个自由度的系统在 13 分钟内求解完成，通过无矩阵实现和并行教科书多重网格效率指标，展现出卓越的可扩展性和内存效率。

ABSTRACT

This article presents a systematic quantitative performance analysis for large finite element computations on extreme scale computing systems. Three parallel iterative solvers for the Stokes system, discretized by low order tetrahedral elements, are compared with respect to their numerical efficiency and their scalability running on up to $786\,432$ parallel threads. A genuine multigrid method for the saddle point system using an Uzawa-type smoother provides the best overall performance with respect to memory consumption and time-to-solution. The largest system solved on a Blue Gene/Q system has more than ten trillion ($1.1 \cdot 10 ^{13}$) unknowns and requires about 13 minutes compute time. Despite the matrix free and highly optimized implementation, the memory requirement for the solution vector and the auxiliary vectors is about 200 TByte. Brandt's notion of "textbook multigrid efficiency" is employed to study the algorithmic performance of iterative solvers. A recent extension of this paradigm to "parallel textbook multigrid efficiency" makes it possible to assess also the efficiency of parallel iterative solvers for a given hardware architecture in absolute terms. The efficiency of the method is demonstrated for simulating incompressible fluid flow in a pipe filled with spherical obstacles.

研究动机与目标

• 评估三种并行迭代求解器在极端规模系统上的数值效率和可扩展性。
• 识别在大规模有限元问题中，时间求解效率和内存消耗方面最高效的求解器。
• 将教科书多重网格效率概念扩展至并行架构，以实现绝对性能评估。
• 证明在现代超级计算机上求解高达 10¹³ 个自由度的斯托克斯问题的可行性。
• 验证求解器在不同边界条件和网格配置下的鲁棒性。

提出的方法

• 本研究采用分层混合网格（HHG）框架，结合有限元的灵活性与几何多重网格的高效性。
• 对比三种求解器：(i) 近似舒尔补共轭梯度法，(ii) 多重网格预处理的 MINRES，(iii) 真正的“一次性”多重网格方法，采用乌扎瓦型光滑算子。
• 乌扎瓦多重网格方法采用无矩阵实现，并基于乌扎瓦迭代为鞍点系统设计光滑算子。
• 通过布兰特的教科书多重网格效率及其向并行教科书多重网格效率的扩展，对性能进行量化，实现对硬件性能的绝对评估。
• 仿真在配备最多 786,432 个并行线程的 Blue Gene/Q 系统上进行，求解的系统自由度超过 10¹³ 个。
• 通过基于节点基函数的守恒质量法向量定义，采用点对点切向应力条件实现边界条件。

实验结果

研究问题

• RQ1 在极端规模下，三种迭代求解器——舒尔补共轭梯度法、多重网格预处理 MINRES 和乌扎瓦多重网格——哪一种在时间求解效率和内存效率方面表现最佳？
• RQ2 并行教科书多重网格效率概念如何扩展至“一次性”多重网格求解器？其为硬件感知性能评估提供了哪些洞见？
• RQ3 在基于可扩展、无矩阵有限元求解器的百亿亿次系统上，13 分钟内可求解的最大问题规模（以自由度计）是多少？
• RQ4 在复杂几何结构（如紧密堆积球体）中，求解器在不同边界条件（如无滑移和自由滑移）下的鲁棒性如何？
• RQ5 网格质量与单元形状对大规模模拟中求解器收敛性和性能的影响是什么？

主要发现

• 乌扎瓦型多重网格求解器整体性能最佳，在 786,432 个线程上，1.1×10¹³ 个自由度的系统约在 13 分钟内求解完成。
• 尽管采用无矩阵且高度优化的实现，求解过程及辅助向量的内存需求仍达约 200 TB。
• 乌扎瓦多重网格方法展现出优异的可扩展性和鲁棒性，在不同边界条件（包括球形障碍物上的无滑移和自由滑移）下均保持高性能。
• 将教科书多重网格效率扩展至并行系统，使绝对性能评估成为可能，证实了该求解器在当前高性能架构上的高效性。
• 该方法对斯托克斯系统的拉普拉斯和 D-算子公式均表现出稳健的收敛性，且在不同问题规模下性能无退化。
• 即使在标准工作站上，系统自由度高达 5×10⁸ 的问题也可在 13 分钟内求解完成，证实了该方法在所有规模下的高效性。