[论文解读] Gradient Scheduling with Global Momentum for Non-IID Data Distributed Asynchronous Training

Chengjie Li, Ruixuan Li+5 more|arXiv (Cornell University)|Feb 21, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用 10

一句话总结

本文提出了一种名为带有全局动量的梯度调度（GSGM）的新算法，用于在非独立同分布（non-IID）数据条件下进行分布式异步训练。通过将梯度调度与全局动量及本地平均相结合，GSGM 在边缘分布式的非IID数据上实现了训练稳定性的提升，在 CIFAR-10 和 Fashion-MNIST 上实现了 20% 的稳定性提升，而在 CIFAR-100 上则实现了 37% 的提升，且在大规模分布式设置下仍能保持收敛，即使在 30 个节点时亦如此。

ABSTRACT

Distributed asynchronous offline training has received widespread attention in recent years because of its high performance on large-scale data and complex models. As data are distributed from cloud-centric to edge nodes, a big challenge for distributed machine learning systems is how to handle native and natural non-independent and identically distributed (non-IID) data for training. Previous asynchronous training methods do not have a satisfying performance on non-IID data because it would result in that the training process fluctuates greatly which leads to an abnormal convergence. We propose a gradient scheduling algorithm with partly averaged gradients and global momentum (GSGM) for non-IID data distributed asynchronous training. Our key idea is to apply global momentum and local average to the biased gradient after scheduling, in order to make the training process steady. Experimental results show that for non-IID data training under the same experimental conditions, GSGM on popular optimization algorithms can achieve a 20% increase in training stability with a slight improvement in accuracy on Fashion-Mnist and CIFAR-10 datasets. Meanwhile, when expanding distributed scale on CIFAR-100 dataset that results in sparse data distribution, GSGM can perform a 37% improvement on training stability. Moreover, only GSGM can converge well when the number of computing nodes grows to 30, compared to the state-of-the-art distributed asynchronous algorithms. At the same time, GSGM is robust to different degrees of non-IID data.

研究动机与目标

• 解决在分布式边缘系统中对非IID数据训练深度学习模型的挑战。
• 克服现有异步训练方法在非IID数据分布下出现的不稳定性和收敛性差的问题。
• 开发一种可扩展且鲁棒的优化算法，确保随着计算节点数量的增加，性能依然保持稳定。
• 在分布式边缘环境中，针对不同程度的数据偏斜，确保收敛性和稳定性。

提出的方法

• 引入梯度调度，重新组织并平衡更新前的梯度，以减少非IID数据带来的偏差。
• 对调度后的梯度应用全局动量，以平滑优化轨迹并减少波动。
• 在每个工作节点内部对梯度进行本地平均，以进一步降低方差并稳定更新。
• 将调度后的梯度与全局动量结合，为异步系统构建稳定且可扩展的训练过程。
• 设计算法以应对不同水平的数据偏斜以及节点数量的增加。
• 将该方法集成到标准优化框架中，无需进行架构修改。

实验结果

研究问题

• RQ1 梯度调度与全局动量结合是否能提升在非IID数据下的分布式异步训练的稳定性？
• RQ2 当规模扩大时，GSGM 的表现如何，特别是在数据在节点间变得稀疏的情况下？
• RQ3 当计算节点数量增加到 30 个时，GSGM 是否能保持收敛，而最先进方法则不能？
• RQ4 在不同非IID程度下，GSGM 与现有算法相比，在准确率和稳定性方面表现如何？
• RQ5 GSGM 是否能在 Fashion-MNIST、CIFAR-10 和 CIFAR-100 等多样化数据集上实现一致的性能提升？

主要发现

• 在与基线方法相同的实验条件下，GSGM 在 Fashion-MNIST 和 CIFAR-10 上实现了 20% 的训练稳定性提升。
• 在数据分布扩展导致数据稀疏的 CIFAR-100 上，GSGM 实现了 37% 的训练稳定性提升。
• 在最先进方法中，GSGM 是唯一一个在计算节点增加到 30 个时仍能实现收敛的算法。
• GSGM 在不同非IID程度的数据下均保持了稳定的训练性能，表现出对数据偏斜的鲁棒性。
• 该方法在准确率上实现了轻微提升，同时在稳定性上获得显著增益，表明其优化过程更加平衡。
• 将梯度调度与全局动量结合，能有效缓解非IID环境下由偏差梯度引起的数据不稳定问题。