[论文解读] Better Generative Replay for Continual Federated Learning

Daiqing Qi, Handong Zhao+1 more|arXiv (Cornell University)|Feb 25, 2023

Privacy-Preserving Technologies in Data被引用 13

一句话总结

本文明确定义了类增量联邦学习（CI-FL）并提出FedCIL，这是一个结合FedCIL模型整合与客户端端一致性 enforcing，并使用生成回放来缓解跨多个任务和客户端的非IID不稳定性与遗忘的框架。

ABSTRACT

Federated learning is a technique that enables a centralized server to learn from distributed clients via communications without accessing the client local data. However, existing federated learning works mainly focus on a single task scenario with static data. In this paper, we introduce the problem of continual federated learning, where clients incrementally learn new tasks and history data cannot be stored due to certain reasons, such as limited storage and data retention policy. Generative replay based methods are effective for continual learning without storing history data, but adapting them for this setting is challenging. By analyzing the behaviors of clients during training, we find that the unstable training process caused by distributed training on non-IID data leads to a notable performance degradation. To address this problem, we propose our FedCIL model with two simple but effective solutions: model consolidation and consistency enforcement. Our experimental results on multiple benchmark datasets demonstrate that our method significantly outperforms baselines.

研究动机与目标

• 介绍类增量联邦学习（CI-FL）的实际问题：多客户端在没有记忆缓冲区的情况下逐步学习新类别。
• 展示将ACGAN生成回放 naïvely 集成到联邦学习中在非IID数据上的不稳定性。
• 提出FedCIL，通过服务器端模型整合和客户端端一致性 enforcing 稳定训练并提升对遗忘的抵抗力。
• 证明FedCIL在跨数据集的标准基线上优于基线方法。

提出的方法

• 使用 Auxiliary Classifier GAN (ACGAN) 作为服务器和客户端的基础生成器/分类器。
• 识别在非IID条件下将朴素的ACGAN+FL训练导致的不稳定性，提出两种改进：服务器端的模型整合并通过合成数据生成实现平衡回放，以及客户端端一致性损失以使来自不同生成器的分布对齐。
• 服务器端整合从合并的客户端参数初始化全局模型，并通过客户端生成器生成的合成样本来丰富它。
• 客户端端一致性 enforcing 通过基于KL散度的损失在真实数据与合成数据之间对齐输出 logits，以稳定本地训练。
• 引入三种一致性损失（L_c1、L_c2、L_c3），并将它们与局部ACGAN损失结合，形成最终的客户端目标。
• 通过仅交换模型参数而非数据来保护隐私。

实验结果

研究问题

• RQ1 生成回放方法在没有记忆缓冲且处理非IID数据的CI-FL中是否能被有效整合？
• RQ2 服务器端模型整合和客户端端一致性 enforcing 是否能在CI-FL中稳定训练并提升对遗忘的抵抗力？
• RQ3 FedCIL 相较于常规FL及其他CI-FL基线在多数据集上的表现如何？

主要发现

模型	MNIST	EMNIST-L	EMNIST-B	CIFAR-10
FedAvg (McMahan et al., 2017)	72.28\pm 0.82	19.36\pm 0.95	17.25\pm 0.25	27.21\pm 2.39
FedProx (Li et al., 2020)	72.84\pm 0.73	19.69\pm 0.75	17.74\pm 0.55	27.43\pm 2.46
FedLwF-2T (Usmanova et al., 2021)	75.61\pm 0.93	23.91\pm 0.78	17.22\pm 0.90	27.02\pm 2.38
FedAvg+DGR	97.46\pm 0.51	71.92\pm 0.74	63.55\pm 0.46	37.93\pm 2.27
FedProx+DGR	97.55\pm 0.48	71.83\pm 0.65	63.55\pm 0.27	37.87\pm 2.47
FedAvg+ACGAN Replay	97.13\pm 0.35	73.85\pm 0.17	66.87\pm 0.79	38.31\pm 2.64
FedProx+ACGAN Replay	97.38\pm 0.63	73.91\pm 0.29	66.19\pm 0.92	38.34\pm 2.55
FedCIL (Ours)	99.13\pm 0.34	78.15\pm 0.30	73.12\pm 0.47	45.27\pm 2.42

• FedCIL在MNIST、EMNIST-Letters、EMNIST-Balanced和CIFAR-10上的全局准确率方面显著优于基线。
• FedCIL在全球准确率方面高于采用DGR或ACGAN Replay结合FedAvg/FedProx的变体。
• 消融结果显示每个组成部分——模型整合、一致性 enforcing和生成回放——都对性能提升有贡献。
• FedCIL的生成器产生的样本质量更高（FID更低），分类器偏差更小，相较于对比方法。
• 可视化和混淆矩阵表明FedCIL在跨任务的类别表现更为均衡。