[论文解读] Extreme-scale Multigrid Components within PETSc

Dave A. May, Patrick Sanan+3 more|arXiv (Cornell University)|Apr 25, 2016

Advanced Numerical Methods in Computational Mathematics参考文献 18被引用 5

一句话总结

本文介绍了 Telescope，这是 PETSc 中一项新的 MPI 进程聚合组件，可为极端规模几何多重网格方法提供可扩展的粗粒度求解器。通过将 MPI 通信器进行聚合以减少通信开销，Telescope 在多重网格预条件处理中提升了可扩展性和性能，其有效性已在结构化网格上的数值实验中得到验证，显著提升了强可扩展性以及混合 CPU-GPU 工作负载下的运行速度。

ABSTRACT

Elliptic partial differential equations (PDEs) frequently arise in continuum descriptions of physical processes relevant to science and engineering. Multilevel preconditioners represent a family of scalable techniques for solving discrete PDEs of this type and thus are the method of choice for high-resolution simulations. The scalability and time-to-solution of massively parallel multilevel preconditioners can be adversely effected by using a coarse-level solver with sub-optimal algorithmic complexity. To maintain scalability, agglomeration techniques applied to the coarse level have been shown to be necessary. In this work, we present a new software component introduced within the Portable Extensible Toolkit for Scientific computation (PETSc) which permits agglomeration. We provide an overview of the design and implementation of this functionality, together with several use cases highlighting the benefits of agglomeration. Lastly, we demonstrate via numerical experiments employing geometric multigrid with structured meshes, the flexibility and performance gains possible using our MPI-rank agglomeration implementation.

研究动机与目标

• 为解决由于算法复杂度次优而导致的极端规模多重网格预条件器中粗粒度求解器可扩展性受限的问题。
• 通过减少粗粒度层级上的通信和计算负载，实现在大规模并行架构上的高效、可扩展的多重网格性能。
• 在 PETSc 中提供一个通用的聚合框架，支持结构化和非结构化网格层次。
• 通过基于进程聚合优化多重网格层次，提升大规模椭圆 PDE 模拟的时间到解性能。
• 通过支持灵活、负载均衡的粗粒度计算分发，支持混合 CPU-GPU 工作负载和强可扩展性研究。

提出的方法

• 引入 Telescope，这是 PETSc 中的新组件，通过 MPI 通信器聚合（即进程聚合）减少粗粒度层级上的 MPI 进程数量。
• 采用自顶向下的聚合策略，基于网格层次结构和计算工作量平衡来聚合通信器。
• 使用几何多重网格方法，结合重新离散化的算子和矩阵自由光滑子，以在所有层级上保持效率。
• 支持 DMDA（分布式网格与数据组装）对象的重新分区，未来可扩展至 DMPlex 以支持非结构化网格。
• 在设置阶段使用临时矩阵进行重排和重分布，未来工作将致力于减少内存占用。
• 提出一种 DM 接口扩展：DMRefinePartition，以支持 MPI 通信器的分层管理。

实验结果

研究问题

• RQ1 如何在极端规模多重网格中提升粗粒度求解器性能，以维持算法可扩展性？
• RQ2 MPI 进程聚合对几何多重网格预条件处理中的时间到解性能和通信开销有何影响？
• RQ3 聚合方法能否推广以支持 PETSc 中的结构化与非结构化网格层次？
• RQ4 聚合方法对混合 CPU-GPU 多重网格工作流中的负载均衡和性能有何影响？
• RQ5 什么样的性能模型可以基于硬件特性和矩阵结构指导最优聚合选择？

主要发现

• Telescope 通过聚合 MPI 通信器实现可扩展的粗粒度求解器，减少了粗粒度层级上的通信和计算负载。
• 数值实验表明，在使用结构化网格和几何多重网格的强可扩展性研究中，性能显著提升。
• 该聚合方法支持结合 CPU 和 GPU 的混合光滑子，提升了异构环境中的时间到解性能。
• 该方法即使在极端问题规模下，仍能保持算法可扩展性，并实现椭圆 PDE 的最优 O(n) 时间到解性能。
• Telescope 的设计具有足够的通用性，可支持未来对 DMPlex 及 PETSc 中其他 DM 实现的扩展。
• 识别出基于网络延迟、内存访问和矩阵结构的性能模型，作为未来指导最优聚合选择的关键方向。