[论文解读] An Error-Resilient Redundant Subspace Correction Method

Tao Cui, Jinchao Xu+1 more|arXiv (Cornell University)|Sep 1, 2013

Matrix Theory and Algorithms参考文献 38被引用 4

一句话总结

本文提出了一种冗余子空间修正（RSC）方法，通过使迭代线性求解器在可检测错误下仍能保持收敛，从而增强高性能科学计算中的容错能力。该方法利用冗余子空间投影，确保即使一个处理器发生故障也能保持收敛，计算开销极小且通信成本低，在百亿亿次级系统中显著提高了平均故障间隔时间（MTTF）。

ABSTRACT

As we stride toward the exascale era, due to increasing complexity of supercomputers, hard and soft errors are causing more and more problems in high-performance scientific and engineering computation. In order to improve reliability (increase the mean time to failure) of computing systems, a lot of efforts have been devoted to developing techniques to forecast, prevent, and recover from errors at different levels, including architecture, application, and algorithm. In this paper, we focus on algorithmic error resilient iterative linear solvers and introduce a redundant subspace correction method. Using a general framework of redundant subspace corrections, we construct iterative methods, which have the following properties: (1) Maintain convergence when error occurs assuming it is detectable; (2) Introduce low computational overhead when no error occurs; (3) Require only small amount of local (point-to-point) communication compared to traditional methods and maintain good load balance; (4) Improve the mean time to failure. With the proposed method, we can improve reliability of many scientific and engineering applications. Preliminary numerical experiments demonstrate the efficiency and effectiveness of the new subspace correction method.

研究动机与目标

• 应对百亿亿次超级计算中日益严峻的硬件错误与软错误挑战，这些错误威胁系统可靠性与运行时间。
• 在不增加高计算或通信成本的前提下，提升迭代线性求解器（大规模PDE模拟的关键组件）的容错能力。
• 开发一种可扩展的、基于算法层面的解决方案，确保在计算过程中发生错误时仍能保持收敛。
• 在无错误场景下实现最小性能退化，同时保持良好的负载均衡和低点对点通信开销。
• 通过在算法层面集成冗余机制，提升科学应用的平均故障间隔时间（MTTF）。

提出的方法

• 基于加性Schwarz方法和子空间修正方法，形式化构建一个通用的冗余子空间修正（RSC）框架。
• 构建一种连续冗余子空间修正（SRSC）方法，利用重复的子空间在错误发生时仍能保持收敛。
• 定义一个预条件子 $ B_{\text{SRSC}} $，使得 $ \|I - B_{\text{SRSC}}A\|_A \leq \|I - B_{\text{SSC}}A\|_A $，确保在错误发生时仍能收敛。
• 通过组合两个不完全子空间修正预条件子（$ B_{\text{PSC}}^c $ 和 $ \tilde{B}_{\text{PSC}}^c $）形成冗余预条件子 $ B_{\text{PRSC}} $，提升鲁棒性。
• 利用域分解和重叠子空间，实现局部通信与均衡的工作分配，支持并行计算。
• 采用基于METIS的域分解方法，对标准PDE（泊松方程、麦克斯韦方程、弹性力学方程）进行有限元离散化，并应用该方法。

实验结果

研究问题

• RQ1 当计算过程中发生硬件或软错误时，冗余子空间修正方法是否仍能保持迭代线性求解器的收敛性？
• RQ2 在无错误情况下，该方法的计算开销如何？是否能与标准方法相比保持极低？
• RQ3 在大规模并行系统中，该方法与传统子空间修正方法相比，在通信成本和负载均衡方面表现如何？
• RQ4 该方法在百亿亿次HPC环境中能将平均故障间隔时间（MTTF）提升多少？
• RQ5 该方法能否在真实世界PDE驱动的科学模拟中有效应用，且不造成性能下降？

主要发现

• 冗余子空间修正（RSC）方法即使在错误发生时仍能保持收敛，其收敛率受标准子空间修正（SSC）方法的界限约束：$ \|I - B_{\text{SRSC}}A\|_A \leq \|I - B_{\text{SSC}}A\|_A $。
• 在无错误场景下，收敛率受两个SSC收敛率乘积的界限约束：$ \|I - B_{\text{SRSC}}A\|_A \leq \|I - B_{\text{SSC}}A\|_A \cdot \|I - \tilde{B}_{\text{SSC}}A\|_A $，确保稳定性。
• 理论分析表明，在理想条件下，该方法的收敛速度是标准SSC方法的两倍。
• 该方法仅需少量、局部化的通信，保持了大规模系统中良好的负载均衡与可扩展性。
• 对泊松方程、麦克斯韦方程和弹性力学方程的初步数值实验验证了该方法在无错误与错误场景下的高效性与有效性。
• 即使多个处理单元发生故障，只要每对冗余单元中至少有一个仍正常工作，该方法仍表现出强健的容错能力。