[论文解读] A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks

Sara Babakniya, Zalan Fabian+3 more|arXiv (Cornell University)|Nov 13, 2023

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出 MFCL，一种隐私保护的联邦持续学习框架，可在服务端无数据训练生成器以合成过去任务样本，使客户端在不存储旧数据的情况下缓解遗忘。它还引入 SuperImageNet 以评估可扩展的联邦持续学习。

ABSTRACT

Deep learning models often suffer from forgetting previously learned information when trained on new data. This problem is exacerbated in federated learning (FL), where the data is distributed and can change independently for each user. Many solutions are proposed to resolve this catastrophic forgetting in a centralized setting. However, they do not apply directly to FL because of its unique complexities, such as privacy concerns and resource limitations. To overcome these challenges, this paper presents a framework for $ extbf{federated class incremental learning}$ that utilizes a generative model to synthesize samples from past distributions. This data can be later exploited alongside the training data to mitigate catastrophic forgetting. To preserve privacy, the generative model is trained on the server using data-free methods at the end of each task without requesting data from clients. Moreover, our solution does not demand the users to store old data or models, which gives them the freedom to join/leave the training at any time. Additionally, we introduce SuperImageNet, a new regrouping of the ImageNet dataset specifically tailored for federated continual learning. We demonstrate significant improvements compared to existing baselines through extensive experiments on multiple datasets.

研究动机与目标

• 在数据隐私与客户端流失 Constraint 下，激励联邦类增量学习（Class-IL）。
• 提出一个数据无关、服务器训练的生成模型，用以合成用于回放的过去任务数据，而不共享真实数据。
• 使客户端在不存储旧数据或模型的情况下学习新任务，同时保留以往知识。
• 引入 SuperImageNet，以实现具有大量客户端和任务的可扩展评估。

提出的方法

• 提出 MFCL，其中服务器以数据无关方式训练 ConvNet 生成器 G，使用模型反演和蒸馏风格目标函数。
• 在当前全局模型 F 给定标签的合成数据上，对 G 使用交叉熵损失，并加入多样性损失以鼓励类别覆盖。
• 包含批量统计损失以使生成器输出与全局模型的 BatchNorm 统计对齐，以及用于自然图像平滑度的图像先验损失。
• 客户端通过仅更新当前任务头部，使用真实数据和来自 G 的合成过去任务样本，进行类IL。
• 应用稳定性-可塑性引导的损失：特征蒸馏（对中间特征的 KD）和仅对当前任务的定向交叉熵，以及一个固定的判别器风格头。
• 在每个任务结束时，服务器整合全局模型并训练 G；G 以及最新/全局模型与客户端在下一任务前共同分享。

实验结果

研究问题

• RQ1 数据无关、服务器训练的生成回放是否能在不暴露客户端数据的情况下缓解 FedClass-IL 的灾难性遗忘？
• RQ2 提出的 MFCL 框架在标准和大规模基准上与现有联邦持续学习基线相比有何差异？
• RQ3 合成回放生成器及相关损失对跨任务的平均准确率和遗忘有何影响？

主要发现

• MFCL 在 CIFAR-100、TinyImageNet 和 SuperImageNet-L 上始终优于基线，测试准确率提高可达到最高 25% 的绝对值。
• MFCL 相比基线具有最小的遗忘，表明在跨任务中的知识保留效果更好。
• 消融研究显示 Batch Statistics Loss 和 Diversity Loss 对性能至关重要，且所有客户端端损失（当前任务的 CE、FT、KD）均对有效性有贡献。
• 该方法引入 SuperImageNet，使在比典型 FL 基准更大规模的客户端与任务上进行评估成为可能，支持实际可扩展性。
• 服务器端对生成器的训练在每个任务仅进行一次，相对于客户端训练的开销可控，且总体准确性提升且遗忘受控。