[论文解读] Communication-Efficient Federated Learning with Accelerated Client Gradient

Geeho Kim, Jinkyu Kim+1 more|arXiv (Cornell University)|Jan 10, 2022

Privacy-Preserving Technologies in Data被引用 16

一句话总结

该论文提出FedAGM，一种通信高效的联邦学习框架，通过在客户端更新中引入全局动量，在不增加额外通信或内存开销的前提下加速收敛。通过广播带有动量的全局模型并正则化本地目标函数，FedAGM减少了客户端漂移，提升了稳定性，尤其在客户端参与率低和数据异构性高的情况下，其准确率和通信效率均优于当前最先进方法。

ABSTRACT

Federated learning often suffers from slow and unstable convergence due to the heterogeneous characteristics of participating client datasets. Such a tendency is aggravated when the client participation ratio is low since the information collected from the clients has large variations. To address this challenge, we propose a simple but effective federated learning framework, which improves the consistency across clients and facilitates the convergence of the server model. This is achieved by making the server broadcast a global model with a lookahead gradient. This strategy enables the proposed approach to convey the projected global update information to participants effectively without additional client memory and extra communication costs. We also regularize local updates by aligning each client with the overshot global model to reduce bias and improve the stability of our algorithm. We provide the theoretical convergence rate of our algorithm and demonstrate remarkable performance gains in terms of accuracy and communication efficiency compared to the state-of-the-art methods, especially with low client participation rates. The source code is available at our project page.

研究动机与目标

• 为解决因客户端数据异构性和参与率低导致的联邦学习不稳定与收敛缓慢问题。
• 在不增加通信或内存开销的前提下，减少客户端漂移和本地更新与全局更新之间的梯度不一致性。
• 在部分客户端参与的真实联邦学习场景下，提升收敛稳定性和通信效率。
• 开发一种自然地将全局梯度动量集成到客户端更新中的方法，且无额外成本。
• 通过正则化本地目标函数，提升对数据非独立同分布（non-iid）分布和低客户端参与率的鲁棒性。

提出的方法

• FedAGM广播一个结合了先前全局梯度动量的增强型全局模型，使客户端能够在本地更新中使用该动量。
• 动量在服务器端使用全局梯度计算，并集成到模型更新中，无需额外通信。
• 在本地客户端目标函数中添加正则化项，以使本地梯度方向与全局梯度方向对齐。
• 正则化项定义为全局梯度与客户端本地模型的函数，从而减少本地更新中的偏差。
• 该方法无需在客户端增加额外存储空间，且避免了额外的通信轮次或带宽使用。
• 算法通过衰减系数λ动态调节动量贡献，以平衡加速效果与稳定性。

实验结果

研究问题

• RQ1 如何在联邦学习中高效地将全局动量传递给客户端，且不增加额外通信成本？
• RQ2 在高客户端数据异构性条件下，引入全局梯度动量在多大程度上能提升收敛稳定性？
• RQ3 对本地目标函数进行正则化如何影响梯度一致性和模型性能？
• RQ4 在客户端参与率较低（此时客户端漂移最为严重）的情况下，FedAGM能否保持高性能？
• RQ5 在不同数据分布下，FedAGM与当前最先进方法相比，在通信效率和最终准确率方面表现如何？

主要发现

• 在CIFAR-10数据集上，客户端参与率为2%且数据划分采用Dirichlet(0.3)分布时，FedAGM分别达到59.64%和63.50%的测试准确率，优于FedAvg和FedProx。
• 在CIFAR-10（Dirichlet 0.3）上，客户端参与率为2%时，FedAGM在321轮内收敛，显著少于FedAvg（1000+轮）。
• 在CIFAR-100上，客户端参与率为2%时，FedAGM在678轮内达到48.40%的准确率，优于基线β=0设置（46.80%准确率，耗时736轮）。
• 该方法在低参与率下性能下降极小，而FedProx和FedAdam则出现显著性能下降。
• 消融实验表明，本地目标函数中的正则化可提升所有参与率水平下的收敛速度和准确率。
• 敏感性分析显示，当λ=0.95时，因动量过强导致性能下降，但FedAGM仍优于大多数基线方法。