[论文解读] Asynchronous Hierarchical Federated Learning

Xing Wang, Yijun Wang|arXiv (Cornell University)|May 31, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出异步分层联邦学习（FedAH），一种新型联邦学习架构，通过将客户端组织为集群并引入边缘聚合器，结合基于延迟程度加权的异步梯度聚合，有效降低服务器负载并加速收敛。在CIFAR-10数据集上的评估表明，与FedAvg和分层FedAvg相比，FedAH实现了更快的收敛速度和更高的稳定性，最优超参数下验证准确率超过60%。

ABSTRACT

Federated Learning is a rapidly growing area of research and with various benefits and industry applications. Typical federated patterns have some intrinsic issues such as heavy server traffic, long periods of convergence, and unreliable accuracy. In this paper, we address these issues by proposing asynchronous hierarchical federated learning, in which the central server uses either the network topology or some clustering algorithm to assign clusters for workers (i.e., client devices). In each cluster, a special aggregator device is selected to enable hierarchical learning, leads to efficient communication between server and workers, so that the burden of the server can be significantly reduced. In addition, asynchronous federated learning schema is used to tolerate heterogeneity of the system and achieve fast convergence, i.e., the server aggregates the gradients from the workers weighted by a staleness parameter to update the global model, and regularized stochastic gradient descent is performed in workers, so that the instability of asynchronous learning can be alleviated. We evaluate the proposed algorithm on CIFAR-10 image classification task, the experimental results demonstrate the effectiveness of asynchronous hierarchical federated learning.

研究动机与目标

• 解决因大量客户端参与而导致的集中式联邦学习中的可扩展性与通信瓶颈问题。
• 通过引入基于边缘聚合器的分层聚类结构，降低服务器工作负载。
• 通过整合异步训练与延迟感知聚合，提升收敛速度与系统鲁棒性。
• 通过在本地客户端引入正则化以及基于梯度延迟程度的加权聚合，稳定异步学习过程。
• 通过支持异构设备与网络条件，提升系统灵活性与可扩展性，以适应真实世界部署需求。

提出的方法

• 利用网络拓扑结构或聚类算法将客户端组织为集群，并为每个集群指定一个设备作为集群聚合器。
• 采用分层聚合机制：本地模型先在集群层级聚合，之后仅将集群摘要发送至中央服务器。
• 应用异步联邦学习，中央服务器使用多项式延迟函数 σ(t′−t)=(t′−t+1)−β 对旧梯度进行加权，以处理不同时间戳的梯度。
• 在本地客户端实施正则化随机梯度下降，采用L2正则化以在异步设置下稳定训练过程。
• 根据延迟程度与集群层级的重要性对全局模型更新进行加权，以平衡快速与慢速设备的贡献。
• 采用混合通信模式：本地更新独立进行，异步向集群服务器与中央服务器报告结果。

实验结果

研究问题

• RQ1 分层聚类能否有效降低大规模联邦学习中的通信开销与服务器负载？
• RQ2 基于延迟加权的异步梯度聚合在多大程度上提升了收敛速度与稳定性？
• RQ3 在本地客户端应用L2正则化在多大程度上缓解了异步联邦学习中的不稳定性？
• RQ4 不同超参数（如延迟函数中的β）对收敛性与准确率的影响如何？
• RQ5 在非独立同分布与异构条件下，该分层设计是否能保持或优于集中式FedAvg的模型准确率？

主要发现

• 当延迟函数中的β=2或β=3时，该方法在CIFAR-10数据集上经过2500个训练周期后，验证准确率超过60%，显著优于β=0与β=1的情况。
• 当β=2或β=3时，学习曲线更加稳定且收敛更快，表明适度处理延迟可提升收敛性而不损失准确率。
• 在2500个周期内，中央服务器通信负载降低至8,842次更新，远低于FedAsync的44,769次与FedAvg的50,000次，展现出显著的通信节省效果。
• 集群聚合器处理了52,904次更新，表明分层聚合能有效卸载中央服务器的负载。
• 由于采用延迟感知聚合与本地正则化，该方法对设备异构性（包括慢速设备）表现出强鲁棒性。
• 正则化系数λ在当前设置下影响较小，表明可能需要进一步调优或引入慢速设备模拟，以充分释放其优势。