[论文解读] Gradient Coding

Rashish Tandon, Qi Lei+2 more|arXiv (Cornell University)|Dec 10, 2016

Stochastic Gradient Optimization Techniques参考文献 9被引用 13

一句话总结

本文提出了梯度编码（Gradient Coding），这是一种编码理论框架，通过有策略地复制数据块并在梯度上进行编码，以减轻分布式同步梯度下降中的延迟问题。在Amazon EC2上使用MPI实现，该方法相比基线方法显著减少了运行时间，同时保持了模型的泛化误差。

ABSTRACT

We propose a novel coding theoretic framework for mitigating stragglers in distributed learning. We show how carefully replicating data blocks and coding across gradients can provide tolerance to failures and stragglers for Synchronous Gradient Descent. We implement our schemes in python (using MPI) to run on Amazon EC2, and show how we compare against baseline approaches in running time and generalization error.

研究动机与目标

• 为解决大规模机器学习训练中分布式同步梯度下降因慢速节点（stragglers）导致的延迟问题。
• 开发一种编码理论方法，实现容错性和慢速节点鲁棒性，同时不牺牲模型精度。
• 设计一种结合数据复制与梯度编码的方案，以最小化计算时间，同时保持模型的泛化性能。
• 在Amazon EC2上使用MPI的实时分布式环境中，对所提方法进行实证评估。

提出的方法

• 该方法使用编码理论框架对工作节点上的梯度进行编码，使得参数服务器即使在部分工作节点运行缓慢或失效的情况下，也能从任意子集的工作节点中重建完整的梯度。
• 数据块被有策略地复制到多个工作节点，以提供冗余，确保即使部分计算完成，也能从子集中恢复完整梯度。
• 编码方案的设计使得来自部分工作节点的梯度之和等于完整梯度，利用了编码的线性代数性质。
• 系统使用Python和MPI实现，支持在Amazon EC2上运行，能够真实模拟网络延迟和计算延迟。
• 该框架通过允许参数服务器在接收到足够数量的梯度更新后即开始下一轮训练，支持同步训练。

实验结果

研究问题

• RQ1 编码理论方法是否能有效通过容忍慢速节点，减少分布式同步梯度下降中的训练时间？
• RQ2 在运行时间与泛化误差方面，梯度编码与基线复制方案和未编码方案相比表现如何？
• RQ3 数据复制与梯度编码在多大程度上能协同提升容错性与系统效率？
• RQ4 所提方案是否在真实分布式环境中加速训练的同时，仍能保持模型精度？

主要发现

• 与未编码和基线复制方法相比，所提出的梯度编码方案在Amazon EC2上显著减少了训练运行时间。
• 该方法保持了与未编码训练相当的泛化误差，表明模型质量未下降。
• 通过允许系统在足够多的工作节点完成任务后即继续执行，梯度编码有效缓解了慢速节点的影响。
• 使用MPI在EC2上的实现证明了该编码理论方法在真实世界分布式学习场景中的实际可行性与可扩展性。