[论文解读] A Massively Parallel Algebraic Multigrid Preconditioner based on Aggregation for Elliptic Problems with Heterogeneous Coefficients

Markus Blatt, Olaf Ippisch+1 more|arXiv (Cornell University)|Sep 5, 2012

Advanced Numerical Methods in Computational Mathematics参考文献 28被引用 14

一句话总结

本文提出了一种基于非光滑聚合的广义代数多重网格（AMG）预条件器，用于求解具有异质系数的椭圆PDE。通过使用基于连接强度准则的贪心聚合算法与分段常数插值，该方法在Blue Gene/P上实现了高达262,144个核心的弱可扩展性，求解了超过10^11自由度的问题，同时保持了低内存占用和高时间效率。

ABSTRACT

This paper describes a massively parallel algebraic multigrid method based on non-smoothed aggregation. It is especially suited for solving heterogeneous elliptic problems as it uses a greedy heuristic algorithm for the aggregation that detects changes in the coefficients and prevents aggregation across them. Using decoupled aggregation on each process with data agglomeration onto fewer processes on the coarse level, it weakly scales well in terms of both total time to solution and time per iteration to nearly 300,000 cores. Because of simple piecewise constant interpolation between the levels, its memory consumption is low and allows solving problems with more than 100,000,000,000 degrees of freedom.

研究动机与目标

• 开发一种高度可扩展、内存高效的AMG预条件器，用于具有高度可变系数的椭圆PDE。
• 在现代超级计算机上实现大规模问题（超过10^11个自由度）的求解，且每个核心的内存有限。
• 在接近300,000个核心上实现时间-求解和每迭代时间的弱可扩展性。
• 通过使用分段常数插值并避免光滑插值，最小化内存占用和算子复杂度。
• 通过在粗网格上使用解耦聚合与数据聚合，克服设置阶段的可扩展性瓶颈。

提出的方法

• 基于连接强度准则的贪心聚合算法，形成避免跨越高对比系数跳跃的聚合块。
• 采用非光滑聚合与简单分段常数插值在不同层次之间进行插值，以防止模板增长并减少内存使用。
• 在每个进程中独立执行聚合，并在粗网格上进行数据聚合，以最小化通信开销并支持弱可扩展性。
• 使用非连续索引集实现并行线性代数，以简化数据分解和算子应用。
• 在代数矩阵图上采用类似几何多重网格的粗化策略，无需依赖几何信息。
• 使用标准松弛法（如高斯-赛德尔）并通过聚合保持矩阵层次结构。

实验结果

研究问题

• RQ1 非光滑聚合AMG方法是否能在接近300,000个核心上实现对具有异质系数的椭圆问题的弱可扩展性？
• RQ2 在求解大规模问题时，非光滑聚合AMG的内存消耗与经典AMG相比如何？
• RQ3 当求解超过10^11个自由度的问题时，时间-求解的弱可扩展性程度如何？
• RQ4 尽管迭代次数增加，使用分段常数插值与贪心聚合是否仍能保持收敛鲁棒性？
• RQ5 该方法在核心数量高且每个核心内存有限的现代HPC系统上是否能实现有效扩展？

主要发现

• 该方法在IBM Blue Gene/P上实现了高达262,144个核心的弱可扩展性，求解了具有5.12×10^11个自由度的异质扩散问题。
• 时间-求解效率扩展良好，从64个核心扩展到262,144个核心时，总求解时间仅增加约1.7倍。
• 该方法保持了足够低的内存占用，使得使用64个机架的Blue Gene/P即可求解超过10^11个未知数的问题。
• 每迭代时间扩展良好，异质问题的迭代时间仅从512个核心时的0.15秒略微增加到262,144个核心时的5.37秒。
• 由于顺序图划分，设置阶段仍是瓶颈，但总时间-求解仍表现出良好扩展性，优于同类硬件上的先前AMG实现。
• 在多核Linux集群上，该方法在512个核心时对泊松问题实现了27%的效率，表明尽管存在内存带宽限制，仍具备强可扩展性。