[论文解读] On the Convergence of Decentralized Adaptive Gradient Methods

Xiangyi Chen, Belhal Karimi+2 more|arXiv (Cornell University)|Sep 7, 2021

Sparse and Compressive Sensing Techniques参考文献 43被引用 5

一句话总结

本文提出一个通用框架，将集中式自适应梯度方法（如 Adam 和 AMSGrad）转换为非凸优化中的收敛去中心化变体。通过在节点间强制实现自适应学习率的一致性，该方法在较弱条件下确保收敛，具备理论保证，并在去中心化 AMSGrad 上进行了实证验证，实现了首个已知具有可证明收敛速率的收敛去中心化自适应方法。

ABSTRACT

Adaptive gradient methods including Adam, AdaGrad, and their variants have been very successful for training deep learning models, such as neural networks. Meanwhile, given the need for distributed computing, distributed optimization algorithms are rapidly becoming a focal point. With the growth of computing power and the need for using machine learning models on mobile devices, the communication cost of distributed training algorithms needs careful consideration. In this paper, we introduce novel convergent decentralized adaptive gradient methods and rigorously incorporate adaptive gradient methods into decentralized training procedures. Specifically, we propose a general algorithmic framework that can convert existing adaptive gradient methods to their decentralized counterparts. In addition, we thoroughly analyze the convergence behavior of the proposed algorithmic framework and show that if a given adaptive gradient method converges, under some specific conditions, then its decentralized counterpart is also convergent. We illustrate the benefit of our generic decentralized framework on a prototype method, i.e., AMSGrad, both theoretically and numerically.

研究动机与目标

• 解决去中心化自适应梯度方法在非凸优化中缺乏理论收敛保证的问题。
• 开发一种通用的算法框架，将集中式自适应方法（如 Adam、AMSGrad）转换为其去中心化版本。
• 建立去中心化自适应方法保持收敛的条件。
• 在原型方法——去中心化 AMSGrad 上，通过理论和数值实验验证该框架，证明其在实际和理论上的可行性。

提出的方法

• 提出一种通用转换框架，通过本地更新和邻居通信，将集中式自适应梯度方法适配到去中心化设置中。
• 引入自适应学习率一致性作为关键组件，确保各节点间步长一致，防止发散。
• 采用固定通信图结构，每个节点仅与邻居通信，避免使用中心化参数服务器。
• 通过一种新颖的理论接口（定理 2）推导收敛边界，将集中式方法的收敛性与去中心化版本的收敛性联系起来。
• 将该框架应用于 AMSGrad，得到一种新算法——去中心化 AMSGrad，并进行了形式化的收敛性分析。
• 使用矩阵的逐元素 L1 范数（如 ‖·‖_abs）量化收敛证明中的通信引起的误差。

实验结果

研究问题

• RQ1 自适应梯度方法（如 Adam 和 AMSGrad）能否在不损失收敛性的前提下成功扩展到去中心化训练？
• RQ2 在缺乏全局协调的情况下，去中心化自适应梯度方法收敛所需的条件是什么？
• RQ3 自适应学习率一致性如何影响去中心化自适应方法的稳定性和收敛性？
• RQ4 所提出的去中心化 AMSGrad 的收敛速率是多少？与现有去中心化方法相比如何？
• RQ5 该框架是否可普遍应用于 AMSGrad 以外的其他自适应梯度方法？

主要发现

• 在较弱假设下，若原始集中式自适应方法收敛，则所提出的框架可确保其去中心化版本的收敛性。
• 去中心化 AMSGrad 被证明是首个已知具有理论收敛速率的收敛去中心化自适应梯度方法。
• 去中心化 AMSGrad 的收敛速率被限制为 O(√d / √(TN)) + O(N/T) + O(N^1.5 / T^1.5 d^0.5) + O(d√N log T / T)，并给出了明确的常数。
• 该框架识别出自适应学习率一致性至关重要——若无此机制，类似 DADAM 的方法可能发散，这一点通过构造反例得到验证。
• 数值实验验证了理论发现，显示在去中心化环境中训练稳定且高效。
• 分析通过矩阵范数（如 ‖·‖_abs）考虑了通信成本，将误差累积与收敛性能关联起来。