[论文解读] Addressing Client Drift in Federated Continual Learning with Adaptive Optimization

Yeshwanth Venkatesha, Youngeun Kim+3 more|arXiv (Cornell University)|Mar 24, 2022

Wireless Networks and Protocols被引用 5

一句话总结

本文提出自适应联邦优化（FedOpt）以缓解联邦持续学习（FCL）中的客户端漂移问题，其中客户端以不同顺序学习任务，导致模型发散。采用NetTailor进行持续学习，结合FedAdam实现自适应优化，使客户端漂移减少4.92%，在10个任务和5个客户端的CIFAR100数据集上平均准确率提升2.45%。

ABSTRACT

Federated learning has been extensively studied and is the prevalent method for privacy-preserving distributed learning in edge devices. Correspondingly, continual learning is an emerging field targeted towards learning multiple tasks sequentially. However, there is little attention towards additional challenges emerging when federated aggregation is performed in a continual learning system. We identify extit{client drift} as one of the key weaknesses that arise when vanilla federated averaging is applied in such a system, especially since each client can independently have different order of tasks. We outline a framework for performing Federated Continual Learning (FCL) by using NetTailor as a candidate continual learning approach and show the extent of the problem of client drift. We show that adaptive federated optimization can reduce the adverse impact of client drift and showcase its effectiveness on CIFAR100, MiniImagenet, and Decathlon benchmarks. Further, we provide an empirical analysis highlighting the interplay between different hyperparameters such as client and server learning rates, the number of local training iterations, and communication rounds. Finally, we evaluate our framework on useful characteristics of federated learning systems such as scalability, robustness to the skewness in clients' data distribution, and stragglers.

研究动机与目标

• 识别客户端漂移作为联邦持续学习（FCL）中的核心挑战，特别是在客户端具有异构任务顺序的情况下。
• 基于NetTailor的持续学习框架，评估FCL系统中客户端漂移的程度。
• 探究自适应联邦优化（如FedAdam）在减少客户端漂移和提升模型稳定性方面的有效性。
• 分析关键超参数——客户端和服务器学习率、本地训练轮数、通信轮数——对系统性能的影响。
• 评估系统在真实世界挑战下的鲁棒性，包括非独立同分布（non-IID）数据、延迟客户端（stragglers）以及客户端数量增加时的可扩展性。

提出的方法

• 采用NetTailor（一种具有任务特定模块的动态架构方法），隔离灾难性遗忘并隔离客户端漂移的影响。
• 应用FedAdam（自适应联邦优化）以稳定具有不同任务序列的客户端之间的模型更新。
• 在客户端和服务器层面均使用自适应学习率的联邦平均方法，以减少模型方向的发散。
• 采用基于本地梯度统计信息的客户端学习率调度策略，以提升收敛稳定性。
• 通过消融实验分析通信轮数、本地训练轮数和学习率设置之间的权衡。
• 在非独立同分布数据（通过Dirichlet分布生成）、延迟客户端行为以及客户端数量增加的情况下评估系统鲁棒性。

实验结果

研究问题

• RQ1 当客户端以不同顺序学习任务时，客户端漂移在联邦持续学习中如何产生？
• RQ2 与标准的FedAvg相比，自适应联邦优化（如FedAdam）在多大程度上能减少客户端漂移？
• RQ3 客户端学习率、服务器学习率、本地训练轮数和通信轮数等超参数如何影响模型性能和漂移程度？
• RQ4 在大规模FCL系统中，该框架对非独立同分布数据分布和延迟客户端的鲁棒性如何？
• RQ5 随着客户端数量的增加，该框架的可扩展性极限是什么？

主要发现

• 与FedAvg相比，采用FedAdam的自适应联邦优化在10个任务和5个客户端的CIFAR100数据集上，将客户端漂移减少4.92%，平均准确率提升2.45%。
• 增加通信轮数会导致更高的客户端漂移和更低的最终准确率，原因在于模型发散的累积效应。
• 较低的服务器学习率可提升模型稳定性并减少客户端漂移，但过低的值会延缓收敛并降低最终准确率。
• 较高的客户端学习率（最高至0.05）可提升性能，但学习率达0.10时会导致训练不稳定和性能下降。
• 系统对延迟客户端具有鲁棒性，即使客户端失败通信的概率增加，性能下降也低于2%。
• 非独立同分布数据分布中，偏度越高（Dirichlet参数越低），客户端漂移越严重，且准确率和后向迁移能力（$BWT_f$）均下降。