[论文解读] ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding

Hongyi Wang, Zachary Charles+1 more|arXiv (Cornell University)|Jan 28, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用 43

一句话总结

ErasureHead 引入近似梯度编码，以通过容忍慢任务并以速度换取梯度的精确度来加速分布式梯度下降，在 PL 条件下具有收敛保证。它在实验中相对于原生和精确梯度编码实现了显著的加速。

ABSTRACT

We present ErasureHead, a new approach for distributed gradient descent (GD) that mitigates system delays by employing approximate gradient coding. Gradient coded distributed GD uses redundancy to exactly recover the gradient at each iteration from a subset of compute nodes. ErasureHead instead uses approximate gradient codes to recover an inexact gradient at each iteration, but with higher delay tolerance. Unlike prior work on gradient coding, we provide a performance analysis that combines both delay and convergence guarantees. We establish that down to a small noise floor, ErasureHead converges as quickly as distributed GD and has faster overall runtime under a probabilistic delay model. We conduct extensive experiments on real world datasets and distributed clusters and demonstrate that our method can lead to significant speedups over both standard and gradient coded GD.

研究动机与目标

• 动机并解决大规模机器学习训练中分布式梯度下降的慢任务延迟。
• 提出一种使用近似梯度编码（AGCs）容忍数据丢失/擦除的实用端到端训练方法。
• 在 Polyak-Łojasiewicz (PL) 条件下提供理论收敛保证。
• 在概率性慢任务模型下分析端到端运行时间，并与原生和精确梯度编码进行比较。
• 在真实数据集和集群上展示经验加速。

提出的方法

• 基于分数重复码（FRC）使用近似梯度编码来计算一个不精确的梯度 g(x)，它汇聚自一部分工作节点的贡献。
• 以 x_{t+1}=x_t - γ ĝ(x_t) 进行训练，其中 ĝ 是经过缩放的近似梯度，确保无偏性（ĥg(x)=g(x)/(1-p)）。
• 在 μ-PL、β-光滑函数下推导收敛性保证，表明在概率性慢任务模型下线性收敛直至噪声地板。
• 给出端到端运行时分析，在移位指数分布的慢任务模型下比较未编码 GD、精确梯度编码（EGC）和 AGC。
• 在多个数据集和集群上进行实验比较 ErasureHead 与原生和梯度编码 GD，报告加速。

实验结果

研究问题

• RQ1 在慢任务延迟下，近似梯度编码如何影响分布式梯度下降的收敛速度？
• RQ2 ErasureHead 在容忍慢任务、梯度精确度和整体运行时间之间的权衡是什么？
• RQ3 在 PL 条件下，近似梯度编码是否在保持收敛性保证的同时带来实际的加速？
• RQ4 在真实数据集上，ErasureHead 与原生 GD 和精确梯度编码的经验表现如何？

主要发现

• 在概率性慢任务模型下，ErasureHead 在 μ-PL、β-光滑函数上实现接近线性收敛的速率，直到一个小噪声地板。
• 在所提出的模型下，ErasureHead 的端到端运行时在理论上相对于原生和梯度编码 GD 可实现最多对数级的加速（log(n)）。
• 在实践中，近似梯度编码在不同数据集和任务上相对于标准和梯度编码 GD 显示出显著的加速（如摘要所述）。
• 该方法能容忍一定比例的计算节点擦除，且恢复的梯度噪声较小。
• 作者提供了公开可用的实现以便可重复性（GitHub 链接）。
• 理论结果量化了延迟-运行时的权衡，并在较短等待时间下与精确梯度编码相比仍具竞争力的收敛性。