[论文解读] Resilience for Multigrid Software at the Extreme Scale

Markus Huber, Björn Gmeiner+2 more|arXiv (Cornell University)|Jun 20, 2015

Parallel Computing and Optimization Techniques参考文献 47被引用 6

一句话总结

本文提出了一种针对极端规模高性能计算系统的容错几何多重网格求解器，通过冗余存储界面值并采用异步本地多重网格恢复来补偿硬件故障。通过利用强大的“超人”计算资源加速本地恢复，该方法在无净求解时间惩罚的情况下完全补偿故障，在百亿亿次规模系统上实现了优异的并行性能。

ABSTRACT

Fault tolerant algorithms for the numerical approximation of elliptic partial differential equations on modern supercomputers play a more and more important role in the future design of exa-scale enabled iterative solvers. Here, we combine domain partitioning with highly scalable geometric multigrid schemes to obtain fast and fault-robust solvers in three dimensions. The recovery strategy is based on a hierarchical hybrid concept where the values on lower dimensional primitives such as faces are stored redundantly and thus can be recovered easily in case of a failure. The lost volume unknowns in the faulty region are re-computed approximately with multigrid cycles by solving a local Dirichlet problem on the faulty subdomain. Different strategies are compared and evaluated with respect to performance, computational cost, and speed up. Especially effective are strategies in which the local recovery in the faulty region is executed in parallel with global solves and when the local recovery is additionally accelerated. This results in an asynchronous multigrid iteration that can fully compensate faults. Excellent parallel performance on a current peta-scale system is demonstrated.

研究动机与目标

• 设计一种面向因大规模并行性导致故障概率上升的极端规模HPC系统的容错多重网格求解器。
• 在分布式内存系统中发生硬件故障时，最小化迭代求解器的延迟和计算开销。
• 通过高效本地恢复实现故障的完全补偿，而无需依赖昂贵的检查点机制。
• 将异步恢复与全局多重网格循环相结合，以保持可扩展性和性能。
• 在真实百亿亿次规模系统上通过大规模模拟（最多包含10^11个未知数）验证该方法。

提出的方法

• 采用域分解方法，引入虚拟节点（ghost nodes），仅在低维界面（如面）上冗余存储值以支持故障恢复。
• 实施分层混合恢复策略，通过在故障子域上求解狄利克雷问题的本地多重网格循环来重建丢失的体积未知数。
• 采用“超人”策略，在故障子域上过度配置计算资源，以加速本地恢复并消除求解时间延迟。
• 以异步方式将本地恢复与全局多重网格迭代结合，使健康与故障子域可独立计算。
• 采用狄利克雷-诺伊曼或狄利克雷-狄利克雷恢复策略，通过近似边界条件求解局部子问题。
• 通过调节本地迭代次数（n_I）和超人算力（η_super）来平衡恢复效率，避免过度通信或计算。

实验结果

研究问题

• RQ1 在极端规模下，能否以最小的计算和通信开销实现多重网格求解器的容错？
• RQ2 如何使本地数据恢复足够高效，以完全补偿故障而不增加求解时间？
• RQ3 当发生故障时，本地恢复工作量与全局多重网格收敛之间的最优平衡是什么？
• RQ4 异步本地恢复结合超人加速是否能消除迭代求解器中故障带来的性能惩罚？
• RQ5 在故障条件下，狄利克雷-狄利克雷与狄利克雷-诺伊曼恢复策略中，哪种能提供更好的性能和鲁棒性？

主要发现

• 狄利克雷-诺伊曼恢复策略优于狄利克雷-狄利克雷策略，因其在故障恢复期间能实现更好的同步与收敛控制。
• 当超人算力最优（η_super = 4）且n_I = 2或3时，与无恢复相比，恢复时间最多减少80%。
• 在故障发生于第5或第9次迭代后的弱缩放测试中，额外时间开销从原始时间的47.8%至55.7%降低至769³网格规模下的最低4.22秒。
• 当通过过度并行化加速本地恢复时，该方法在无净求解时间惩罚的情况下完全补偿了故障。
• 该方法在百亿亿次规模系统上保持了优异的并行性能，展示了接近10^11个未知数的可扩展性。
• 当n_I的取值满足n_F ≈ n_I + k_F - 2时，恢复开销最小化，实现了本地收敛与通信延迟的平衡。