[论文解读] Linear Convergence in Federated Learning: Tackling Client Heterogeneity and Sparse Gradients

Aritra Mitra, Rayana H. Jaafar+2 more|arXiv (Cornell University)|Feb 14, 2021

Privacy-Preserving Technologies in Data参考文献 59被引用 39

一句话总结

本文提出 FedLin，一种联邦学习框架，在目标函数异质性和系统异质性下，即使在梯度稀疏化的情况下，也能实现对全局最小值的线性收敛。

ABSTRACT

We consider a standard federated learning (FL) architecture where a group of clients periodically coordinate with a central server to train a statistical model. We develop a general algorithmic framework called FedLin to tackle some of the key challenges intrinsic to FL, namely objective heterogeneity, systems heterogeneity, and infrequent and imprecise communication. Our framework is motivated by the observation that under these challenges, various existing FL algorithms suffer from a fundamental speed-accuracy conflict: they either guarantee linear convergence but to an incorrect point, or convergence to the global minimum but at a sub-linear rate, i.e., fast convergence comes at the expense of accuracy. In contrast, when the clients' local loss functions are smooth and strongly convex, we show that FedLin guarantees linear convergence to the global minimum, despite arbitrary objective and systems heterogeneity. We then establish matching upper and lower bounds on the convergence rate of FedLin that highlight the effects of intermittent communication. Finally, we show that FedLin preserves linear convergence rates under aggressive gradient sparsification, and quantify the effect of the compression level on the convergence rate. Our work is the first to provide tight linear convergence rate guarantees, and constitutes the first comprehensive analysis of gradient sparsification in FL.

研究动机与目标

• 在联邦学习中解决目标异质性、系统异质性和通信约束。
• 开发一个在局部损失光滑且强凸的前提下实现对全局最优解线性收敛的框架。
• 给出严格的收敛速率界，并分析间歇性通信和梯度稀疏化的影响。

提出的方法

• 提出 FedLin，具有使用全局梯度记忆的梯度校正项。
• 使用客户端特定的学习率以补偿不同客户端之间的局部步数差异。
• 在客户端和服务器端引入误差反馈机制，以处理梯度稀疏化。
• 通过 TOP-k 运算符允许积极的梯度稀疏化，并分析其对收敛的影响。
• 证明在确定性设定下 FedLin 与集中式收敛速率相匹配，并扩展到随机 oracle 模型。
• 推导下界，展示间歇性通信的成本及局部步数的极限。

实验结果

研究问题

• RQ1 在目标异质性和系统异质性存在的情况下，FedLin 能否实现对全局最小值的线性收敛？
• RQ2 间歇性通信（轮间的局部步数）如何影响收敛速率？
• RQ3 梯度稀疏化的影响及其在服务器端还是客户端应用对收敛的影响？
• RQ4 客户端特定学习率是否足以抵消来自异质局部更新的漂移？
• RQ5 在确定性和随机设定下，FedLin 是否存在严格的速率表征？

主要发现

• FedLin 能在任意目标和系统异质性下，对光滑且强凸的损失保证对全局最小值的线性收敛。
• 本文建立了收敛速率的匹配上界和下界，突出强调间歇性通信的代价。
• FedLin 在积极的梯度稀疏化下也保持线性收敛，并量化压缩水平对速率的影响。
• 当在服务器端对梯度进行稀疏化时，可以在不使用误差反馈的情况下实现对真实最小值的线性收敛；误差反馈会提升收敛速率。
• 如果在每个客户端对梯度进行稀疏化，即使有误差反馈，也能对真实最小值的邻域实现线性收敛。
• 分析展示了在联邦学习中首个严格的线性收敛速率保证以及对梯度稀疏化的全面处理。