[论文解读] FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks

Gao, Lingzhi, Zhang, Zhenyuan+1 more|arXiv (Cornell University)|Jan 10, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

FedDTG 提出了一种无需数据的联邦蒸馏框架，采用三玩家生成对抗网络（GAN）实现客户端之间隐私保护的知识蒸馏，无需共享模型参数或代理数据集。通过联合训练全局生成器并实现客户端间的相互蒸馏，FedDTG 实现了更快的收敛速度，在非独立同分布（non-i.i.d.）数据下具备更强的鲁棒性，并提升了准确率的稳定性，客户端在极端数据异质性条件下于 MNIST 上实现了高达 94.97% 的测试准确率。

ABSTRACT

While existing federated learning approaches primarily focus on aggregating local models to construct a global model, in realistic settings, some clients may be reluctant to share their private models due to the inclusion of privacy-sensitive information. Knowledge distillation, which can extract model knowledge without accessing model parameters, is well-suited for this federated scenario. However, most distillation methods in federated learning (federated distillation) require a proxy dataset, which is difficult to obtain in the real world. Therefore, in this paper, we introduce a distributed three-player Generative Adversarial Network (GAN) to implement data-free mutual distillation and propose an effective method called FedDTG. We confirmed that the fake samples generated by GAN can make federated distillation more efficient and robust. Additionally, the distillation process between clients can deliver good individual client performance while simultaneously acquiring global knowledge and protecting data privacy. Our extensive experiments on benchmark vision datasets demonstrate that our method outperforms other federated distillation algorithms in terms of generalization.

研究动机与目标

• 为解决联邦学习中客户端因隐私顾虑而不愿共享私有模型参数的挑战。
• 克服现有联邦蒸馏方法对代理数据集的依赖，这些数据集往往在现实场景中难以获取。
• 提升在非独立同分布数据分布下联邦学习的鲁棒性与收敛速度。
• 在无需相同模型架构的前提下，实现客户端间有效的知识蒸馏。
• 开发一个全局生成模型，用于增强本地数据，提升个性化与稳定性。

提出的方法

• 引入一种三玩家 GAN 架构，包括一个全局生成器、客户端特定的判别器以及客户端特定的学生模型。
• 全局生成器生成合成数据，用于正则化本地训练，并支持客户端间的相互蒸馏。
• 通过全局生成器输出的软标签，在客户端模型之间执行相互蒸馏，实现在不交换模型参数的前提下实现知识共享。
• 在统一的训练循环中联合优化本地个性化、相互蒸馏与 GAN 训练。
• 全局生成器被训练以生成与全局数据分布一致的逼真合成样本，从而提升泛化能力。
• 该方法无需共享模型参数或代理数据集，实现了隐私保护的知识迁移。

实验结果

研究问题

• RQ1 一种无需数据的联邦蒸馏方法是否能在不依赖代理数据集或模型参数共享的前提下实现高性能？
• RQ2 通过共享的全局生成器实现客户端间的相互蒸馏，在非独立同分布数据下如何提升收敛性与鲁棒性？
• RQ3 全局生成器生成的合成数据在多大程度上增强了本地模型训练并降低了客户端间的准确率方差？
• RQ4 FedDTG 是否能在具有高度不平衡数据分布的客户端上保持强性能？
• RQ5 所提出的方法是否可泛化至不同模型架构与任务，而无需重新训练？

主要发现

• 在极端非独立同分布设置下（α=0.05，r=25%），FedDTG 在 MNIST 上实现了 94.97% 的测试准确率，显著优于 FedAvg 和 FedGen。
• FedDTG 中表现最差的客户端在本地测试集上仍达到 92.15% 的准确率，表明其具备强大的鲁棒性并显著降低了客户端间的性能方差。
• 在高度不平衡的设置下（例如每客户端仅一个类别或极端样本不平衡），FedDTG 展现出最稳定的训练曲线，训练过程中波动最小。
• 消融实验确认，全局生成器与相互蒸馏均不可或缺：移除任一成分均导致性能下降超过 2%，其中仅使用相互蒸馏时准确率为 92.33%，仅使用全局生成器时为 93.78%。
• FedDTG 降低了客户端间的准确率差距，并提升了收敛速度，尤其在高数据异质性条件下，优于 FedGen 和 FedDF 的多数设置。
• 全局生成器生成的合成样本可被复用于其他联邦蒸馏算法作为代理数据集，展示了其可重用性与泛化能力。