[论文解读] Faster Non-Convex Federated Learning via Global and Local Momentum

Rudrajit Das, Anish Acharya+4 more|arXiv (Cornell University)|Dec 7, 2020

Privacy-Preserving Technologies in Data参考文献 50被引用 10

一句话总结

该论文提出 FedGLOMO，一种新型联邦学习算法，通过结合全局和局部动量，同时减少来自服务器聚合和客户端级随机梯度的方差，实现了非凸优化的最优 $Ó(\epsilon^{-1.5})$ 迭代复杂度。在任意客户端异构性和压缩通信条件下，其性能优于以往方法（后者复杂度为 $Ó(\epsilon^{-2})$），且不依赖于难以验证的有界客户端差异性（BCD）假设。

ABSTRACT

We propose exttt{FedGLOMO}, a novel federated learning (FL) algorithm with an iteration complexity of $\mathcal{O}(ε^{-1.5})$ to converge to an $ε$-stationary point (i.e., $\mathbb{E}[\| abla f(\bm{x})\|^2] \leq ε$) for smooth non-convex functions -- under arbitrary client heterogeneity and compressed communication -- compared to the $\mathcal{O}(ε^{-2})$ complexity of most prior works. Our key algorithmic idea that enables achieving this improved complexity is based on the observation that the convergence in FL is hampered by two sources of high variance: (i) the global server aggregation step with multiple local updates, exacerbated by client heterogeneity, and (ii) the noise of the local client-level stochastic gradients. By modeling the server aggregation step as a generalized gradient-type update, we propose a variance-reducing momentum-based global update at the server, which when applied in conjunction with variance-reduced local updates at the clients, enables exttt{FedGLOMO} to enjoy an improved convergence rate. Moreover, we derive our results under a novel and more realistic client-heterogeneity assumption which we verify empirically -- unlike prior assumptions that are hard to verify. Our experiments illustrate the intrinsic variance reduction effect of exttt{FedGLOMO}, which implicitly suppresses client-drift in heterogeneous data distribution settings and promotes communication efficiency.

研究动机与目标

• 为解决由于客户端异构性和随机梯度导致的联邦学习在非凸设置下收敛缓慢的问题。
• 消除对以往理论分析中常见的难以验证的有界客户端差异性（BCD）假设的依赖。
• 在平滑非凸函数中，实现达到 $\epsilon$-驻点的最优迭代复杂度 $Ó(\epsilon^{-1.5})$。
• 在保持任意数据异构性下快速收敛的同时，通过压缩通信实现通信效率。
• 通过实证验证一种更贴近真实联邦学习场景的客户端异构性假设。

提出的方法

• 提出 FedGLOMO，一种在服务器端（全局）和客户端端（本地）均应用基于动量的方差减少技术的联邦学习算法。
• 将服务器聚合步骤建模为一种广义梯度类型更新，以减少全局方差，通过在全局更新方向上引入动量项。
• 在客户端使用动量对随机梯度进行局部方差减少更新，以抑制局部漂移和噪声。
• 在一种新型客户端异构性假设下推导收敛保证，该假设不要求客户端梯度之间的有界差异性。
• 通过分析量化噪声的影响并将之整合到收敛分析中，支持压缩通信。
• 采用统一的分析框架，同时控制局部和全局方差分量，从而实现更优的迭代复杂度。

实验结果

研究问题

• RQ1 在任意客户端异构性条件下，联邦学习算法能否实现非凸优化的 $Ó(\epsilon^{-1.5})$ 迭代复杂度？
• RQ2 结合全局和局部动量是否能显著降低服务器聚合和客户端更新中的方差？
• RQ3 收敛分析能否在不依赖有界客户端差异性（BCD）假设的前提下推导出来？
• RQ4 在具有真实非独立同分布数据分布和通信压缩的实际场景中，FedGLOMO 的表现如何？
• RQ5 所提出的客户端异构性假设在实证上是否可验证，且比现有假设更具现实性？

主要发现

• FedGLOMO 在平滑非凸函数中实现了收敛至 $\epsilon$-驻点的最优迭代复杂度 $Ó(\epsilon^{-1.5})$。
• 该算法在类似设置下优于以往仅能达到 $Ó(\epsilon^{-2})$ 复杂度的工作。
• 收敛分析不依赖于有界客户端差异性（BCD）假设，而该假设在实际中往往难以验证。
• 实证结果证实，FedGLOMO 通过方差减少机制，在异构数据设置下隐式抑制了客户端漂移。
• 实验评估表明，即使在压缩通信条件下，该方法仍能保持通信效率。
• 所提出的客户端异构性假设在实证上被验证为比文献中标准假设更具现实性。