[论文解读] CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning

Huy Quang Lê, Minh N. H. Nguyen+3 more|arXiv (Cornell University)|Apr 4, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

CDKT-FL 在联邦学习中提出了一种跨设备知识蒸馏框架，通过使用小型代理数据集，利用模型输出和表征进行知识迁移，显著提升了个性化模型性能和训练稳定性。其在保持通信开销较低的同时增强了隐私保护，相比 FedAvg 最高可提升 10% 的客户端个性化准确率。

ABSTRACT

In a practical setting, how to enable robust Federated Learning (FL) systems, both in terms of generalization and personalization abilities, is one important research question. It is a challenging issue due to the consequences of non-i.i.d. properties of client's data, often referred to as statistical heterogeneity, and small local data samples from the various data distributions. Therefore, to develop robust generalized global and personalized models, conventional FL methods need to redesign the knowledge aggregation from biased local models while considering huge divergence of learning parameters due to skewed client data. In this work, we demonstrate that the knowledge transfer mechanism achieves these objectives and develop a novel knowledge distillation-based approach to study the extent of knowledge transfer between the global model and local models. Henceforth, our method considers the suitability of transferring the outcome distribution and (or) the embedding vector of representation from trained models during cross-device knowledge transfer using a small proxy dataset in heterogeneous FL. In doing so, we alternatively perform cross-device knowledge transfer following general formulations as 1) global knowledge transfer and 2) on-device knowledge transfer. Through simulations on three federated datasets, we show the proposed method achieves significant speedups and high personalized performance of local models. Furthermore, the proposed approach offers a more stable algorithm than other baselines during the training, with minimal communication data load when exchanging the trained model's outcomes and representation.

研究动机与目标

• 解决联邦学习中统计异构性和非独立同分布（non-i.i.d.）数据带来的挑战，此类问题会降低模型的泛化能力和个性化性能。
• 在数据分布偏斜且本地数据有限的异构联邦学习设置下，提升客户端和全局模型的性能与稳定性。
• 通过交换模型输出和表征而非完整模型参数，降低通信开销和隐私泄露风险。
• 通过代理数据集和基于蒸馏的聚合机制，实现在异构模型架构之间的有效知识迁移。
• 在固定用户选择和动态用户选择两种场景下，相比 FedAvg 实现更快的收敛速度和更高的鲁棒性。

提出的方法

• 引入代理数据集以模拟多样化数据分布，确保在联邦训练过程中设备间的一致性知识迁移。
• 实施两阶段知识迁移：(1) 从服务器到客户端的全局知识迁移；(2) 从客户端到服务器的本地设备内知识迁移。
• 利用知识蒸馏技术，将全局和本地模型的输出概率（软标签）以及中间表征（嵌入）进行迁移。
• 设计一种正则化损失函数，结合交叉熵和知识蒸馏项，由超参数 α（泛化性）和 β（全局稳定性）控制。
• 在客户端模型架构和数据分布各异的跨设备联邦学习设置中应用该方法，实现无需结构对齐的灵活聚合。
• 仅交换模型输出和表征（而非完整参数），最大限度降低通信负载，并减少模型反演攻击带来的隐私泄露风险。

实验结果

研究问题

• RQ1 使用代理数据集的知识蒸馏是否能提升在非独立同分布数据下的跨设备联邦学习中的个性化模型性能？
• RQ2 在不同数据集和用户选择场景下，CDKT-FL 与 FedAvg 相比在收敛速度、稳定性和泛化性能方面表现如何？
• RQ3 与传输完整模型参数相比，传输模型输出和表征在通信效率和隐私保护方面有何影响？
• RQ4 超参数 α 和 β 如何影响客户端泛化（C-Gen）与专业化（C-Spec）性能之间的权衡？
• RQ5 当客户端模型架构较小或与全局模型不匹配时，CDKT-FL 是否仍能保持高性能？

主要发现

• 在固定用户场景下，CDKT-FL 在 Fashion-MNIST 上相比 FedAvg 提升最高达 10% 的客户端个性化准确率（C-Per），在 CIFAR-10 上提升 7%。
• 在部分用户参与的场景中，CDKT-FL 在 Fashion-MNIST 和 CIFAR-10 上均将 C-Per 提升 5%，同时保持与全局模型性能相当或更优。
• 该方法表现出比 FedAvg 更快的收敛速度和更高的训练稳定性，尤其在统计异构性和客户端漂移条件下表现更优。
• CDKT-FL 通过仅交换模型输出和表征，避免传输完整参数，从而显著降低通信开销。
• 代理数据集即使在客户端模型异构的情况下，也能实现一致的知识迁移，在使用更小客户端网络时，Fashion-MNIST 上仍能达到相近性能。
• 增加 α 可提升 C-Gen 性能，但会轻微降低 C-Spec 性能，表明泛化与专业化之间存在可调谐的权衡。