[论文解读] Global Knowledge Distillation in Federated Learning.

Wanning Pan, Lichao Sun|arXiv (Cornell University)|Jun 30, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用 4

一句话总结

本文提出 FedGKD，一种用于联邦学习的全局知识蒸馏方法，通过利用历史全局模型来减少非独立同分布（non-i.i.d.）数据设置下的本地训练偏差。通过将历史全局模型的知识蒸馏到本地客户端，FedGKD 提升了收敛速度与准确率，在非 i.i.d. 数据条件下优于当前最先进方法在 CIFAR-10/100 上的表现。

ABSTRACT

Knowledge distillation has caught a lot of attention in Federated Learning (FL) recently. It has the advantage for FL to train on heterogeneous clients which have different data size and data structure. However, data samples across all devices are usually not independent and identically distributed (non-i.i.d), posing additional challenges to the convergence and speed of federated learning. As FL randomly asks the clients to join the training process and each client only learns from local non-i.i.d data, which makes learning processing even slower. In order to solve this problem, an intuitive idea is using the global model to guide local training. In this paper, we propose a novel global knowledge distillation method, named FedGKD, which learns the knowledge from past global models to tackle down the local bias training problem. By learning from global knowledge and consistent with current local models, FedGKD learns a global knowledge model in FL. To demonstrate the effectiveness of the proposed method, we conduct extensive experiments on various CV datasets (CIFAR-10/100) and settings (non-i.i.d data). The evaluation results show that FedGKD outperforms previous state-of-the-art methods.

研究动机与目标

• 解决由于异构客户端间数据非独立同分布（non-i.i.d.）导致的联邦学习中本地模型偏差问题。
• 通过减轻非 i.i.d. 数据和随机客户端参与带来的负面影响，提升联邦学习中的收敛速度与模型性能。
• 开发一种方法，使本地客户端能够从先前训练轮次中积累的全局知识中获益。
• 通过将历史全局知识整合到本地训练过程中，提升模型在联邦学习中的泛化能力与鲁棒性。

提出的方法

• 提出 FedGKD，一种新颖的全局知识蒸馏框架，利用历史全局模型作为本地客户端的知识来源。
• 通过在本地学生模型与历史全局教师模型之间引入知识蒸馏损失，使本地更新与全局知识对齐。
• 通过从多个先前的全局模型进行蒸馏，保持本地模型与全局知识之间的一致性。
• 通过结合本地数据损失与来自历史全局模型的蒸馏损失来训练本地模型，以减少偏差。
• 根据训练进度动态选择相关的历史全局模型，以提升知识迁移效率。
• 通过对齐各轮次之间的模型架构与特征表示，确保本地知识与全局知识的兼容性。

实验结果

研究问题

• RQ1 从历史全局模型蒸馏知识是否能改善非 i.i.d. 联邦学习设置下本地模型的收敛性？
• RQ2 FedGKD 在准确率与收敛速度方面与现有知识蒸馏及联邦学习方法相比表现如何？
• RQ3 在异构且非 i.i.d. 数据环境中，使用历史全局知识在多大程度上能减少本地模型偏差？
• RQ4 将全局知识整合是否能提升在多样化客户端数据分布下的泛化能力与鲁棒性？

主要发现

• 在非 i.i.d. 数据设置下，FedGKD 在 CIFAR-10 和 CIFAR-100 上的测试准确率高于当前最先进方法。
• 由于通过历史全局模型的知识蒸馏减少了本地模型偏差，该方法表现出更快的收敛速度。
• 在高度非 i.i.d. 数据场景下性能提升尤为显著，此时标准联邦学习在收敛方面面临困难。
• 使用多个历史全局模型作为蒸馏源，显著增强了知识迁移效果与模型稳定性。
• FedGKD 在不同客户端参与率与数据异构性水平下均保持一致的性能表现。
• 该方法有效减轻了随机客户端选择与非 i.i.d. 数据对全局模型质量的负面影响。