[论文解读] Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent

Giorgi Nadiradze, Ilia Markov+3 more|arXiv (Cornell University)|Jan 16, 2020

Stochastic Gradient Optimization Techniques参考文献 47被引用 7

一句话总结

本文提出了弹性一致性（elastic consistency），这是一种适用于分布式随机梯度下降（SGD）的通用一致性模型，它将系统特定的实现细节与收敛性要求解耦。该模型可适用于多种通信压缩和异步方法，并提供收敛性边界；同时，通过一种新型的避免同步机制，实现了更高的训练效率，在ResNet18上实现了高达30%的加速，且在CIFAR-100和CIFAR-10上实现了完整的精度恢复。

ABSTRACT

Machine learning has made tremendous progress in recent years, with models matching or even surpassing humans on a series of specialized tasks. One key element behind the progress of machine learning in recent years has been the ability to train machine learning models in large-scale distributed shared-memory and message-passing environments. Many of these models are trained employing variants of stochastic gradient descent (SGD) based optimization. In this paper, we introduce a general consistency condition covering communication-reduced and asynchronous distributed SGD implementations. Our framework, called elastic consistency enables us to derive convergence bounds for a variety of distributed SGD methods used in practice to train large-scale machine learning models. The proposed framework de-clutters the implementation-specific convergence analysis and provides an abstraction to derive convergence bounds. We utilize the framework to analyze a sparsification scheme for distributed SGD methods in an asynchronous setting for convex and non-convex objectives. We implement the distributed SGD variant to train deep CNN models in an asynchronous shared-memory setting. Empirical results show that error-feedback may not necessarily help in improving the convergence of sparsified asynchronous distributed SGD, which corroborates an insight suggested by our convergence analysis.

研究动机与目标

• 解决在各种一致性松弛（如异步更新和通信压缩）下，为分布式SGD提供通用收敛保证的挑战。
• 将系统级实现细节（如消息传递、共享内存、量化）与SGD的核心收敛要求解耦。
• 提供一个统一框架，用于分析和改进现有的分布式SGD方法，包括通信或同步减少的方法。
• 设计并验证一种新型的避免同步训练调度器，确保收敛性的同时提升训练效率。
• 通过在真实系统约束下对深度卷积神经网络进行实证评估，证明弹性一致性的实际适用性。

提出的方法

• 提出弹性一致性作为一般性一致性条件，通过常数γ限制本地梯度与全局参数更新之间的偏差。
• 定义弹性一致性条件，使得本地与全局梯度更新之间差值的期望平方范数，受与α²和M²成正比的项所限制，其中常数B取决于系统模型。
• 利用柯西-施瓦茨不等式推导出本地状态与全局状态之间参数偏差的上界，确保在弱假设下实现收敛。
• 将该框架特化以分析特定的通信压缩技术，包括TopK稀疏化和1比特量化，通过推导各自的γ和B参数。
• 实现一种弹性调度器，当所有层均同步或已同步组件的范数比超过阈值β时，触发下一次前向传播。
• 将弹性调度器集成到Horovod和BytePS框架中，与基线的跨屏障同步策略在受控网络延迟（5ms，0.2ms抖动）下进行比较。

实验结果

研究问题

• RQ1 能否构建一个通用的一致性模型，统一分析在异步或通信压缩等放松一致性条件下的多种分布式SGD系统？
• RQ2 如何将通信带宽、延迟和同步开销等系统特定约束抽象为一个保持收敛性的统一条件？
• RQ3 在所提出的弹性一致性模型下，现有通信压缩技术（如TopK和1比特量化）的收敛边界是什么？
• RQ4 能否设计一种新型的避免同步调度器，在显著减少训练时间的同时保持模型精度？
• RQ5 弹性一致性在多大程度上能够实现更快的训练，而不会牺牲收敛性或模型精度，适用于真实世界中的深度学习工作负载？

主要发现

• 弹性一致性提供了一个统一框架，可用于重新推导或改进基于消息传递和共享内存的分布式SGD系统的现有收敛边界。
• TopK量化满足弹性一致性，其边界参数为B = √(d/K (d²/K² − 1)) M，其中d为模型维度，K为保留的顶级分量数量。
• 1比特量化满足弹性一致性，其边界参数为B = √(d(d² − 1)) M，表明其在现实假设下与该框架兼容。
• 所提出的范数有界的弹性调度器在CIFAR-10上的ResNet18训练中实现了约30%的加速，且精度完全恢复，相较基线的跨屏障策略。
• 方差有界的弹性调度器在不同训练轮次中保持了稳定的收敛性，证实了该方法在不同系统约束下的鲁棒性。
• 在两台AWS P3.2xlarge实例上，网络延迟为5ms、抖动为0.2ms的实证结果表明，弹性一致性可实现高效、可扩展的深度卷积模型训练，且无精度损失。