[论文解读] Cooperative SGD: A unified Framework for the Design and Analysis of Communication-Efficient SGD Algorithms

Jianyu Wang, Gauri Joshi|arXiv (Cornell University)|Aug 22, 2018

Stochastic Gradient Optimization Techniques参考文献 46被引用 176

一句话总结

本文提出了 Cooperative SGD，一种统一框架，涵盖周期性平均、弹性平均和去中心化的 SGD，并为非凸目标提供收敛性保证，同时为设计新的通信高效 SGD 变体提供指导。

ABSTRACT

Communication-efficient SGD algorithms, which allow nodes to perform local updates and periodically synchronize local models, are highly effective in improving the speed and scalability of distributed SGD. However, a rigorous convergence analysis and comparative study of different communication-reduction strategies remains a largely open problem. This paper presents a unified framework called Cooperative SGD that subsumes existing communication-efficient SGD algorithms such as periodic-averaging, elastic-averaging and decentralized SGD. By analyzing Cooperative SGD, we provide novel convergence guarantees for existing algorithms. Moreover, this framework enables us to design new communication-efficient SGD algorithms that strike the best balance between reducing communication overhead and achieving fast error convergence with low error floor.

研究动机与目标

• 通过实现本地更新和周期性同步来激励并分析通信高效的分布式 SGD。
• 提供一个统一的收敛框架，使现有方法（PASGD、EASGD、D-PSGD）得以包含其中。
• 识别通信减速参数（tau、W、v）如何影响收敛性和误差下限。
• 推导在速度与最终收敛误差之间取得平衡的参数选择最佳实践。
• 通过在 cooperative SGD 框架内组合策略来提出新变体。

提出的方法

• 将 Cooperative SGD 定义为带有本地模型和 v 个辅助变量的 A(tau, W, v)。
• 表达更新规则 X_{k+1} = (X_k - eta G_k) W_k，并澄清均值化调度 W_k。
• 展示 PASGD、EASGD 和 D-PSGD 如何映射到特定的 A(tau, W, v)。
• 在非凸目标的标准假设下推导统一的收敛性分析。
• 给出闭式误差下限，表明网络误差取决于 tau 和 W 的特征值。
• 分析 EASGD 的最优 alpha，并引入如去中心化周期性平均和广义弹性平均等变体。

实验结果

研究问题

• RQ1 局部更新周期（tau）和网络混合（W）如何影响收敛性和 cooperative SGD 的最终误差下限？
• RQ2 在非凸目标下，统一框架是否能够捕捉并分析 PASGD、EASGD 和 D-PSGD？
• RQ3 在 EASGD 中用于最小化误差下限的最佳弹性参数 alpha 是什么？
• RQ4 辅助变量（v）如何影响有效学习率和收敛速度？
• RQ5 在 Cooperative SGD 中将同步与平均策略结合时会产生哪些新的算法设计？

主要发现

• 为 cooperative SGD 类建立了统一的收敛性保证，显示 tau、W 和 v 如何影响误差下限。
• 对非凸目标分析了弹性平均 SGD，提供了关于最佳 alpha 以最小化误差下限的指导。
• 对周期性平均的细化分析移除了均匀有界梯度假设，适用于 FedAvg 与独立同分布数据。
• 该框架能够对 PASGD、EASGD、D-PSGD 进行定量比较，并支持设计新变体。
• 新的设计，如去中心化周期性平均和广义弹性平均，在通信约束下可以改善收敛性。