[论文解读] Data-Free Knowledge Distillation for Heterogeneous Federated Learning

Zhuangdi Zhu, Junyuan Hong+1 more|PubMed|May 20, 2021

Privacy-Preserving Technologies in Data被引用 66

一句话总结

FeDGen 在异构联邦学习中通过在服务器上学习一个轻量级生成器来实现无数据知识蒸馏框架，将集成知识蒸馏到本地模型，而不使用代理数据。

ABSTRACT

Federated Learning (FL) is a decentralized machine-learning paradigm in which a global server iteratively aggregates the model parameters of local users without accessing their data. User <i>heterogeneity</i> has imposed significant challenges to FL, which can incur drifted global models that are slow to converge. <i>Knowledge Distillation</i> has recently emerged to tackle this issue, by refining the server model using aggregated knowledge from heterogeneous users, other than directly aggregating their model parameters. This approach, however, depends on a proxy dataset, making it impractical unless such prerequisite is satisfied. Moreover, the ensemble knowledge is not fully utilized to guide local model learning, which may in turn affect the quality of the aggregated model. In this work, we propose a <i>data-free knowledge distillation</i> approach to address heterogeneous FL, where the server learns a lightweight generator to ensemble user information in a data-free manner, which is then broadcasted to users, regulating local training using the learned knowledge as an inductive bias. Empirical studies powered by theoretical implications show that, our approach facilitates FL with better generalization performance using fewer communication rounds, compared with the state-of-the-art.

研究动机与目标

• 在联邦学习中解决用户异质性问题，而无法获得用于蒸馏的代理数据。
• 提出一种利用从模型预测中学习的生成器来增强本地训练的数据无关KD方法。
• 实现知识蒸馏，直接指导本地模型更新，而不仅仅是全局模型的改进。
• 提供一个轻量、通信高效的框架，适用于隐私敏感的 FL 场景。

提出的方法

• 在给定目标标签 y 的情况下，学习一个条件生成器 G_w，生成潜在表示 z，使本地用户模型产生的预测保持集体一致性。
• 通过最小化一个将来自用户预测头的集体预测与目标标签对齐的损失（方程式 4）来优化 G_w。
• 将 G_w 广播给客户端；客户端从 G_w(z|y) 采样 z，以通过附加蒸馏项（方程式 5）增强本地训练。
• 通过仅共享预测层 θ^p_k 而保留特征提取器在本地，实现灵活的参数共享，从而降低隐私和通信负担。

实验结果

研究问题

• RQ1 在没有代理数据的情况下，数据无关的知识蒸馏是否能有效缓解联邦学习中的异质性？
• RQ2 将集合知识蒸馏到本地训练的模型中，是否能在更少的通信轮次下提供可比或更优的泛化？
• RQ3 在客户端数据非独立同分布程度不同的情况下，FeDGen 有何表现？
• RQ4 将知识蒸馏到本地模型相较于仅优化全球模型，在理论和实证上有哪些好处？

主要发现

• FeDGen 在 MNIST、CelebA、EMNIST 上的异构 FL 设置中，始终优于基线方法（FedAvg、FedProx、FedEnsemble、FedDistill、FedDistill+、FedDFusion）。
• FeDGen 对不同数据异质性水平（Dirichlet α 变化）和活跃用户比率保持鲁棒。
• 所学习的生成器 G_w 捕捉了与全局数据分布对齐的聚合潜在分布，提升本地归纳偏置和泛化。
• 通过增强的潜在样本将知识蒸馏到本地模型相较于仅优化全局模型，在高度异质性下尤其具有优势。
• 仅共享预测层（而非完整模型）也带来显著收益，凸显隐私和通信效率的好处。