[论文解读] Achieving Linear Convergence in Federated Learning under Objective and Systems Heterogeneity.

Aritra Mitra, Rayana H. Jaafar+2 more|arXiv (Cornell University)|Feb 14, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用 12

一句话总结

FedLin 是一种新型联邦学习算法，通过利用历史梯度和客户端特定的学习率，在目标异构性和系统异构性下实现了向全局最小值的线性收敛。它在光滑、强凸、凸和非凸设置下，与集中式优化方法的收敛速率保持一致（仅相差常数因子），即使在采用激进的梯度压缩时亦成立。

ABSTRACT

We consider a standard federated learning architecture where a group of clients periodically coordinate with a central server to train a statistical model. We tackle two major challenges in federated learning: (i) objective heterogeneity, which stems from differences in the clients' local loss functions, and (ii) systems heterogeneity, which leads to slow and straggling client devices. Due to such client heterogeneity, we show that existing federated learning algorithms suffer from a fundamental speed-accuracy conflict: they either guarantee linear convergence but to an incorrect point, or convergence to the global minimum but at a sub-linear rate, i.e., fast convergence comes at the expense of accuracy. To address the above limitation, we propose FedLin - a simple, new algorithm that exploits past gradients and employs client-specific learning rates. When the clients' local loss functions are smooth and strongly convex, we show that FedLin guarantees linear convergence to the global minimum. We then establish matching upper and lower bounds on the convergence rate of FedLin that highlight the trade-offs associated with infrequent, periodic communication. Notably, FedLin is the only approach that is able to match centralized convergence rates (up to constants) for smooth strongly convex, convex, and non-convex loss functions despite arbitrary objective and systems heterogeneity. We further show that FedLin preserves linear convergence rates under aggressive gradient sparsification, and quantify the effect of the compression level on the convergence rate.

研究动机与目标

• 解决联邦学习中现有方法或收敛缓慢或收敛至错误解所导致的根本性速度-精度权衡问题。
• 在任意目标异构性和系统异构性（包括慢速客户端和非独立同分布数据）下，实现向全局最小值的线性收敛。
• 在光滑、强凸、凸和非凸设置下，与集中式优化方法的收敛速率保持一致（仅相差常数因子）。
• 分析周期性通信和梯度稀疏化在异构联邦设置下对收敛速度的影响。
• 为现实联邦学习条件下收敛速率提供理论保证。

提出的方法

• FedLin 采用基于本地进展和历史梯度的客户端特定学习率策略。
• 通过将历史梯度引入更新规则，以在异构环境中稳定并加速收敛。
• 算法在客户端与服务器之间采用周期性通信，其收敛性在不同通信频率下进行了分析。
• 应用梯度稀疏化，其压缩级别以对收敛速率的影响为度量进行量化。
• 理论分析基于局部损失函数的光滑性和强凸性假设，建立了收敛边界。
• FedLin 的更新规则设计确保在客户端具有不同数据分布和计算速度时，仍能保持线性收敛。

实验结果

研究问题

• RQ1 联邦学习是否能在目标异构性和系统异构性下实现向全局最小值的线性收敛？
• RQ2 在异构联邦设置下，通信频率与收敛速率之间存在何种权衡？
• RQ3 FedLin 是否能匹配在任意客户端异构性下的集中式优化收敛速率？
• RQ4 梯度压缩如何影响 FedLin 的收敛速率？
• RQ5 FedLin 在不同损失函数类别下的收敛速率存在哪些理论边界？

主要发现

• FedLin 在光滑且强凸的局部损失函数下，即使在任意目标异构性和系统异构性下，也能保证向全局最小值的线性收敛。
• 其收敛速率在光滑、强凸、凸和非凸设置下，与集中式方法保持一致（仅相差常数因子）。
• FedLin 的收敛速率具有定量边界，针对周期性通信，已建立匹配的上界与下界。
• 在激进的梯度稀疏化下，FedLin 仍能保持线性收敛，且压缩级别与收敛速率之间存在明确关联。
• 该算法通过实现快速且准确的收敛，有效解决了速度-精度权衡问题。
• 实验验证表明，FedLin 在异构条件下相较于现有方法，在收敛速度和最终精度方面均表现更优。