[论文解读] Local AdaAlter: Communication-Efficient Stochastic Gradient Descent with Adaptive Learning Rates

Cong Xie, Oluwasanmi Koyejo+2 more|arXiv (Cornell University)|Nov 20, 2019

Stochastic Gradient Optimization Techniques参考文献 44被引用 21

一句话总结

本文提出 Local AdaAlter，一种通信高效的随机梯度下降算法，通过延迟更新自适应变量，将局部 SGD 与自适应学习率相结合。通过定期同步模型参数，而懒惰地更新自适应学习率，该方法减少了通信开销，并在 1B 词数据集上实现了最高 30% 的训练加速，同时为非凸问题提供了理论收敛保证。

ABSTRACT

When scaling distributed training, the communication overhead is often the bottleneck. In this paper, we propose a novel SGD variant with reduced communication and adaptive learning rates. We prove the convergence of the proposed algorithm for smooth but non-convex problems. Empirical results show that the proposed algorithm significantly reduces the communication overhead, which, in turn, reduces the training time by up to 30% for the 1B word dataset.

研究动机与目标

• 为解决分布式深度学习训练中使用 AdaGrad 等自适应学习率方法时的高通信开销问题。
• 通过引入一种新颖机制，仅在同步轮次时延迟更新自适应变量，实现在自适应 SGD 中的通信效率。
• 理论上证明所提方法在光滑非凸优化问题上的收敛性。
• 通过实证验证，该方法在大规模分布式设置中可降低通信成本和训练时间。

提出的方法

• 提出 Local AdaAlter，一种 AdaGrad 的变体，延迟对自适应变量 $ B_t^2 $ 的更新，该变量累积历史梯度，仅在通信轮次时进行更新。
• 引入一种本地更新策略，即工作者在同步前独立计算梯度并更新模型参数多步。
• 在工作者之间周期性地平均模型参数，而仅在同步间隔内更新自适应变量。
• 采用对延迟敏感的更新规则，即仅在通信轮次时更新自适应变量 $ B_t^2 $，从而降低通信频率。
• 理论分析表明，在标准光滑性和有界梯度假设下，该方法对非凸目标具有收敛性。
• 该方法在显著减少同步频率的同时，保持了自适应学习率的优势。

实验结果

研究问题

• RQ1 能否将 AdaGrad 等自适应学习率方法与局部 SGD 有效结合，以减少分布式训练中的通信开销？
• RQ2 在非凸优化下，带有自适应学习率的局部 SGD 变体的理论收敛行为如何？
• RQ3 延迟更新自适应变量对训练收敛性和通信效率有何影响？
• RQ4 该方法在大规模 NLP 任务中的训练时间和模型精度方面有何影响？
• RQ5 该方法能否在真实数据集上将通信频率降低高达 30% 的同时保持收敛性保证？

主要发现

• 与标准自适应 SGD 相比，Local AdaAlter 将通信开销降低了最高 30%，在 1B 词数据集上显著缩短了训练时间。
• 理论分析证实了对光滑非凸问题的收敛性，收敛速率依赖于本地步数和通信频率。
• 该方法在大幅降低同步频率的同时，保持了自适应学习率的优势，适用于大规模分布式训练。
• 实证结果表明，该算法在更少的通信轮次下实现了相当或更优的模型精度。
• 收敛界依赖于初始自适应变量 $ b_0^2 $、学习率 $ \eta $ 和本地步数 $ H $，并显式依赖于 $ \sqrt{b_0^2 + T \epsilon^2 / p^2} $。