[论文解读] Fault Tolerance in Iterative-Convergent Machine Learning

Aurick Qiao, Bryon Aragam+2 more|arXiv (Cornell University)|Oct 17, 2018

Stochastic Gradient Optimization Techniques被引用 14

一句话总结

该论文提出了一种通用框架，用于量化迭代收敛型机器学习算法中扰动的迭代成本，从而实现更智能的检查点容错机制。通过在恢复过程中最小化扰动大小，SCAR系统相较于传统方法，在多种模型和算法上将重做工作量减少了78%–95%。

ABSTRACT

Machine learning (ML) training algorithms often possess an inherent self-correcting behavior due to their iterative-convergent nature. Recent systems exploit this property to achieve adaptability and efficiency in unreliable computing environments by relaxing the consistency of execution and allowing calculation errors to be self-corrected during training. However, the behavior of such systems are only well understood for specific types of calculation errors, such as those caused by staleness, reduced precision, or asynchronicity, and for specific types of training algorithms, such as stochastic gradient descent. In this paper, we develop a general framework to quantify the effects of calculation errors on iterative-convergent algorithms and use this framework to design new strategies for checkpoint-based fault tolerance. Our framework yields a worst-case upper bound on the iteration cost of arbitrary perturbations to model parameters during training. Our system, SCAR, employs strategies which reduce the iteration cost upper bound due to perturbations incurred when recovering from checkpoints. We show that SCAR can reduce the iteration cost of partial failures by 78% - 95% when compared with traditional checkpoint-based fault tolerance across a variety of ML models and training algorithms.

研究动机与目标

• 开发一种通用框架，用于量化任意扰动对迭代收敛型机器学习训练算法的影响。
• 理解由硬件故障、延迟或低精度计算引起的扰动如何影响收敛性和迭代成本。
• 设计基于检查点的容错策略，以最小化扰动大小，从而减少故障后的重做工作量。
• 实现并评估SCAR，一个应用新策略以提升容错效率的参数服务器系统。

提出的方法

• 该框架基于扰动大小和算法收敛特性，推导出迭代成本的最坏情况上限。
• 将扰动建模为模型参数的偏差，并利用收敛假设来界定恢复所需的额外迭代次数。
• SCAR采用部分检查点和优先级检查点机制，以减小恢复时扰动的幅度。
• 系统通过在线估算收敛参数来指导检查点决策，从而最小化重做工作量。
• 理论分析基于标准收敛条件（如利普希茨连续性和强凸性）推导出边界。
• SCAR在多个机器学习模型（如LDA、逻辑回归）和训练算法（如SGD）上进行了评估，表现出一致的性能提升。

实验结果

研究问题

• RQ1 在迭代收敛型机器学习算法中，任意扰动可能引入的最坏情况迭代成本是多少？
• RQ2 如何重新设计基于检查点的容错机制，以最小化扰动大小，从而减少重做工作量？
• RQ3 基于扰动感知的检查点策略是否能显著降低分布式训练中部分故障的迭代成本？
• RQ4 机器学习算法的自校正行为如何使容错效率优于传统的检查点-重启机制？
• RQ5 对扰动影响的理论边界在多大程度上可指导机器学习训练中的实时系统决策？

主要发现

• SCAR在多个模型和算法上相比传统检查点-重启机制，将部分故障的迭代成本降低了78%至95%。
• 在ClueWeb数据集上对LDA进行训练时，SCAR比传统恢复方式提前3轮达到相同的似然值，节省约6分钟的重做时间。
• 尽管由于频繁检查点带来了每4轮约13秒的额外开销，SCAR仍实现了净性能提升。
• 理论分析表明，在标准收敛假设下，迭代成本被扰动大小和初始距离最优解的距离的函数所上界限定。
• 采用优先级的部分检查点机制显著降低了恢复过程中引入的扰动幅度，从而直接减少了重做工作量。
• 该框架通过在线近似收敛参数（如c和||x^(0) - x*||）实现了预测性系统决策。