[论文解读] Periodic Stochastic Gradient Descent with Momentum for Decentralized Training

Hongchang Gao, Heng Huang|arXiv (Cornell University)|Aug 24, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用 9

一句话总结

该论文提出了周期性去中心化动量SGD（PD-SGDM）及其通信高效变体CPD-SGDM，用于去中心化训练，结合动量与周期性通信，实现了收敛速度的线性加速。理论分析证明，在拓扑结构、动量和通信频率满足特定条件时，线性加速是可实现的，这是该领域首个建立此类结果的工作。

ABSTRACT

Decentralized training has been actively studied in recent years. Although a wide variety of methods have been proposed, yet the decentralized momentum SGD method is still underexplored. In this paper, we propose a novel periodic decentralized momentum SGD method, which employs the momentum schema and periodic communication for decentralized training. With these two strategies, as well as the topology of the decentralized training system, the theoretical convergence analysis of our proposed method is difficult. We address this challenging problem and provide the condition under which our proposed method can achieve the linear speedup regarding the number of workers. Furthermore, we also introduce a communication-efficient variant to reduce the communication cost in each communication round. The condition for achieving the linear speedup is also provided for this variant. To the best of our knowledge, these two methods are all the first ones achieving these theoretical results in their corresponding domain. We conduct extensive experiments to verify the performance of our proposed two methods, and both of them have shown superior performance over existing methods.

研究动机与目标

• 为解决非凸优化中去中心化动量SGD缺乏理论理解与实际效率的问题。
• 在保持收敛速度的同时，降低去中心化训练中的通信开销。
• 建立周期性去中心化动量SGD在工人数量上实现线性加速的理论条件。
• 设计一种通信高效的变体，在周期性通信期间对模型参数进行压缩，同时不牺牲收敛保证。
• 通过实验验证所提方法相较于现有去中心化训练方法的优越性。

提出的方法

• 提出PD-SGDM，一种周期性去中心化动量SGD，通过动量进行本地更新，并仅每p轮通信一次。
• 在CPD-SGDM中引入压缩算子，以降低每轮通信成本，实现工人之间高效参数交换。
• 采用加权平均方案，利用混合矩阵W在去中心化网络中聚合模型参数。
• 通过压缩映射和Frobenius范数分析推导理论收敛边界，研究动量、拓扑结构和通信频率的影响。
• 采用李雅普诺夫函数方法分析本地模型与全局模型之间距离的衰减，证明在特定参数条件下可实现收敛。
• 建立学习率、动量、压缩比和网络拓扑结构的条件，以保证收敛速度的线性加速。

实验结果

研究问题

• RQ1 在何种条件下，周期性去中心化动量SGD能实现与工人数量成线性关系的加速？
• RQ2 动量的引入如何影响周期性通信下去中心化训练中的收敛行为？
• RQ3 能否在不降低收敛性能的前提下，将通信压缩集成到周期性去中心化动量SGD中？
• RQ4 网络拓扑结构和混合矩阵特性对所提方法收敛速度的理论影响是什么？
• RQ5 动量、周期性通信与压缩之间的相互作用如何影响整体收敛性与通信效率？

主要发现

• 在学习率、动量和网络拓扑满足特定条件时，PD-SGDM在工人数量上实现了收敛速度的线性加速。
• 理论分析证明，即使在周期性通信和动量存在的情况下，线性加速依然可实现，这是该领域首个此类结果。
• CPD-SGDM在通过参数压缩降低每轮通信成本的同时实现了线性加速，且收敛条件已明确推导。
• 两种方法的收敛速度取决于混合矩阵W的谱特性与压缩比，通过李雅普诺夫分析建立了更紧的边界。
• 实验评估表明，PD-SGDM与CPD-SGDM在多个学习任务中均优于现有去中心化方法，收敛速度更快，最终模型精度更高。
• 理论边界得到实验验证，表明在推导条件下，收敛速度随工人数量线性增长。