[论文解读] A space-time parallel solver for the three-dimensional heat equation

Robert Speck, Daniel Ruprecht+3 more|JuSER (Forschungszentrum Jülich)|Jul 30, 2013

Matrix Theory and Algorithms参考文献 8被引用 5

一句话总结

本文通过将PFASST（空间-时间全近似格式）与空间并行多重网格（PMG）方法相结合，提出了一种用于三维热方程的空间-时间并行求解器。该方法在空间并行化饱和点之外实现了显著的强可扩展性，当粗粒度空间降尺度与减少的空间并行化相结合时性能达到最优，表明在极端规模模拟中必须协同设计时间和空间并行性。

ABSTRACT

The paper presents a combination of the time-parallel "parallel full approximation scheme in space and time" (PFASST) with a parallel multigrid method (PMG) in space, resulting in a mesh-based solver for the three-dimensional heat equation with a uniquely high degree of efficient concurrency. Parallel scaling tests are reported on the Cray XE6 machine "Monte Rosa" on up to 16,384 cores and on the IBM Blue Gene/Q system "JUQUEEN" on up to 65,536 cores. The efficacy of the combined spatial- and temporal parallelization is shown by demonstrating that using PFASST in addition to PMG significantly extends the strong-scaling limit. Implications of using spatial coarsening strategies in PFASST's multi-level hierarchy in large-scale parallel simulations are discussed.

研究动机与目标

• 通过引入基于PFASST的时间并行化，扩展三维热方程空间并行求解器的强可扩展性极限。
• 研究大规模模拟中空间与时间并行性之间的相互作用，特别是当空间求解器受通信限制时的情况。
• 评估空间降尺度策略（减少自由度、低阶 stencils、降尺度时间网格）对空间-时间多重网格框架中PFASST效率的影响。
• 确定PFASST+PMG的最优配置，以在极端规模环境中最大化整体加速比。
• 评估时间并行方法是否能在空间并行化已接近饱和时有效扩展强可扩展性。

提出的方法

• 该方法采用方法-线法，分别在精细和粗粒度层级上使用四阶紧凑格式和二阶标准格式对三维热方程进行空间离散化。
• 时间积分通过PFASST实现，其采用两级空间-时间层次结构，每个时间步在精细和粗粒度层级上分别使用5个和3个SDC节点。
• 在PFASST内部使用隐式欧拉法作为子步长求解器，各层级上的线性系统由并行多重网格（PMG）方法求解。
• FAS（全近似格式）校正支持灵活的空间降尺度策略，包括自由度减少和空间离散化阶次降低。
• SDC和PFASST迭代采用残差阈值1e-10，达到约1.1e-11的相对最大误差。
• 降尺度策略涵盖时间（减少SDC节点数）、空间（减少自由度）和空间离散化阶次（从四阶降至二阶），形成多级层次结构。

实验结果

研究问题

• RQ1 PFASST与PMG的结合如何影响在极端规模系统上三维热方程求解器的强可扩展性行为？
• RQ2 空间降尺度策略（减少自由度、低阶stencils）对PFASST中粗粒度与精细粒度扫描运行时间比的影响是什么？
• RQ3 当空间并行化处于通信主导状态时，其对通过PFASST实现的时间并行化效率有何影响？
• RQ4 PFASST能否在仅空间并行化达到饱和点后继续扩展强可扩展性？在何种条件下效果最显著？
• RQ5 在大规模计算中，减少空间求解所用核心数在多大程度上能改善粗粒度到精细粒度的运行时间比，并提升整体PFASST效率？

主要发现

• PFASST+PMG求解器在Cray XE6 'Monte Rosa' 上实现了最高16,384核的强可扩展性，在IBM Blue Gene/Q 'JUQUEEN' 上实现了65,536核的强可扩展性，证明了在极端规模下的可扩展性。
• 减少空间求解所用核心数显著改善了粗粒度到精细粒度的运行时间比，与完全空间并行化相比，α（粗粒度扫描效率的度量）降低了四倍以上。
• 粗粒度效率的提升带来了更好的PFASST收敛性与更高的整体加速比，尽管空间求解器的运行时间略有增加。
• 当空间并行化处于通信受限状态时，粗粒度层级上减少自由度对运行时间影响极小，凸显了通信时间在性能中的主导作用。
• PFASST的理论加速比估计保持准确，JUQUEEN上的实际加速比略优于Monte Rosa，但差异较小。
• 结果表明时间与空间并行性是相互依赖的：在通信受限环境中，最优性能要求协同设计两种策略。