[论文解读] Federated Accelerated Stochastic Gradient Descent

Honglin Yuan, Tengyu Ma|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques参考文献 55被引用 22

一句话总结

本文提出联邦加速随机梯度下降（FedAc），一种可证明加速的联邦平均（FedAvg）变体，在分布式凸优化中提升了收敛速度与通信效率。通过引入一种基于势能的扰动迭代分析，并精心平衡加速与稳定性，FedAc将同步轮次从FedAvg中的O(M)减少至强凸设置下的O(M^{1/3})，实现了强凸环境下的线性加速，且以更少的通信轮次实现更快收敛。

ABSTRACT

We propose Federated Accelerated Stochastic Gradient Descent (FedAc), a principled acceleration of Federated Averaging (FedAvg, also known as Local SGD) for distributed optimization. FedAc is the first provable acceleration of FedAvg that improves convergence speed and communication efficiency on various types of convex functions. For example, for strongly convex and smooth functions, when using $M$ workers, the previous state-of-the-art FedAvg analysis can achieve a linear speedup in $M$ if given $M$ rounds of synchronization, whereas FedAc only requires $M^{\frac{1}{3}}$ rounds. Moreover, we prove stronger guarantees for FedAc when the objectives are third-order smooth. Our technique is based on a potential-based perturbed iterate analysis, a novel stability analysis of generalized accelerated SGD, and a strategic tradeoff between acceleration and stability.

研究动机与目标

• 为解决联邦与分布式机器学习中的通信瓶颈，通过加速FedAvg来提升性能。
• 解决在分布式设置中通过动量实现加速与稳定性之间的固有矛盾。
• 开发一种可证明收敛、通信高效的算法，实现比FedAvg更快的收敛速度。
• 将加速能力从二次目标函数扩展至一般强凸函数，并提升通信效率。

提出的方法

• FedAc引入了一种适用于M个工作者的联邦设置的广义加速SGD框架。
• 采用基于势能的扰动迭代分析，以控制各工作者之间本地迭代的发散。
• 通过引入受控扰动机制，战略性地平衡基于动量的加速与稳定性。
• 提出一种加速SGD变体的新稳定性分析，确保在同步频率较低的情况下，仍能保持对全局最优解的有界偏离。
• 算法在保持动量本地更新的同时，通过所有M名工作者的平均操作定期进行同步。
• 在标准假设下推导收敛边界：光滑性、有界方差和强凸性（假设1）。

实验结果

研究问题

• RQ1 在分布式凸优化中，能否在不牺牲稳定性的前提下，对FedAvg实现可证明的加速？
• RQ2 使用加速方法在M个工作者中实现线性加速，所需的最少同步轮次是多少？
• RQ3 三阶光滑性如何影响加速联邦算法的收敛性与稳定性？
• RQ4 能否形式化并利用加速与稳定性之间的权衡，以提升通信效率？
• RQ5 FedAc在收敛速率与通信成本方面是否优于FedAvg和标准小批量SGD？

主要发现

• 对于强凸且光滑的函数，FedAc仅需O(M^{1/3})轮同步即可实现M的线性加速，显著优于FedAvg所需的O(M)。
• 在标准假设下，FedAc的收敛速率为Õ(1/(MT) + 1/(TR^3))，当R较小时，优于FedAvg的Õ(1/(MT) + 1/(TR))。
• 当目标函数具有三阶光滑性时，FedAc提供了更强的收敛保证，利用更高阶光滑性以收紧边界。
• 该算法在基于动量的加速下保持稳定，而标准Nesterov加速SGD在初始值扰动下可能不稳定。
• FedAc在通信效率方面优于FedAvg和小批量SGD基线，尤其在一般凸情况下表现更优。
• 理论分析证实，FedAc在实现加速的同时保持了稳定性，解决了联邦优化中的一个关键挑战。