[论文解读] A distillation-based approach integrating continual learning and federated learning for pervasive services

Anastasiia Usmanova, François Portet+2 more|arXiv (Cornell University)|Sep 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用 33

一句话总结

该论文提出了一种基于蒸馏的方法（FLwF-2T）用于在移动设备的普遍性人体活动识别中的联邦持续学习，采用两教师设置（过去的客户端模型和服务器全局模型）以减轻灾难性遗忘。

ABSTRACT

Federated Learning, a new machine learning paradigm enhancing the use of edge devices, is receiving a lot of attention in the pervasive community to support the development of smart services. Nevertheless, this approach still needs to be adapted to the specificity of the pervasive domain. In particular, issues related to continual learning need to be addressed. In this paper, we present a distillation-based approach dealing with catastrophic forgetting in federated learning scenario. Specifically, Human Activity Recognition tasks are used as a demonstration domain.

研究动机与目标

• 在面向普及计算任务（如人体活动识别 HAR）中的联邦持续学习（FCL）中解决灾难性遗忘。
• 研究联邦学习是否能够在客户端之间共享以往知识并提高对未见任务的性能。
• 利用服务器生成的全局模型作为第二个教师，来增强客户端所学习的通用特征。

提出的方法

• 提出一种基于蒸馏的FL方法，灵感来源于 Learning without Forgetting (LwF)，以约束对过去知识的改变。
• 引入 FLwF-2T，在其中每个客户端通过蒸馏损失同时从其过去的客户端模型（教师1）和服务器全局模型（教师2）学习。
• 定义最终损失 L_FLwF-2T = α L_class + β L_dis_cl + (1−α−β) L_dis_serv，其中 α, β 调节教师贡献与分类项的权重。
• 在蒸馏中使用温度缩放的对数概率（温度 T）和软目标以保持先前任务的性能。
• 在适用于移动设备的 CNN 架构上对 UCI HAR 数据集进行评估。

实验结果

研究问题

• RQ1 在类别增量设置下，联邦学习是否有助于在客户端层面防止灾难性遗忘？
• RQ2 联邦学习能否促进客户端之间共享过去知识，从而改善对未知任务的性能？
• RQ3 服务器的全局模型能否作为额外的教师来提高客户端性能并减少遗忘？

主要发现

• 在报告的 CL 指标中，FLwF-2T 一般提高了客户端1的遗忘抵抗力，其遗忘度量 F_2^1（0.418）低于 FLwF（0.595）。
• 在泛化性测试中，FLwF-2T/FT + exemplars 在结合客户端特定知识流与服务器知识流时实现了强劲的性能与良好的泛化。
• 使用两个教师（客户端过去模型和服务器模型）在保持先前学习信息的同时学习新任务方面可超越单教师基线。
• 示例记忆在多种策略下进一步提升了 FL 和 CL 指标的性能，其中 FLwF-2T/FT + ex 常带来强劲结果。
• 所提出的 FLwF-2T 框架计算开销轻量，适用于移动设备，因为在轮次期间它依赖于过去的客户端模型和服务器提供的全局模型。