[论文解读] Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning

Lin Zhang, Li Shen+3 more|arXiv (Cornell University)|Mar 17, 2022

Privacy-Preserving Technologies in Data被引用 16

一句话总结

本文提出 FedFTG，一种无需数据的知识蒸馏方法，通过生成的困难样本微调联邦学习中的全局模型，以缓解非独立同分布（non-IID）数据导致的性能下降。通过利用服务器端生成器从本地模型中挖掘并迁移知识，FedFTG 在多个基准测试中提升了收敛速度与准确率，在真实世界数据集上的表现优于当前最先进方法最高达 6%。

ABSTRACT

Federated Learning (FL) is an emerging distributed learning paradigm under privacy constraint. Data heterogeneity is one of the main challenges in FL, which results in slow convergence and degraded performance. Most existing approaches only tackle the heterogeneity challenge by restricting the local model update in client, ignoring the performance drop caused by direct global model aggregation. Instead, we propose a data-free knowledge distillation method to fine-tune the global model in the server (FedFTG), which relieves the issue of direct model aggregation. Concretely, FedFTG explores the input space of local models through a generator, and uses it to transfer the knowledge from local models to the global model. Besides, we propose a hard sample mining scheme to achieve effective knowledge distillation throughout the training. In addition, we develop customized label sampling and class-level ensemble to derive maximum utilization of knowledge, which implicitly mitigates the distribution discrepancy across clients. Extensive experiments show that our FedFTG significantly outperforms the state-of-the-art (SOTA) FL algorithms and can serve as a strong plugin for enhancing FedAvg, FedProx, FedDyn, and SCAFFOLD.

研究动机与目标

• 解决因直接聚合模型和知识遗忘导致的非独立同分布联邦学习性能下降问题。
• 利用未充分利用的服务器端计算资源，提升全局模型的泛化能力。
• 开发一种隐私保护方法，通过生成合成数据进行知识蒸馏，避免原始数据传输。
• 通过定制化标签采样和类别级集成技术，缓解客户端之间的标签分布偏移。
• 设计一种与现有本地优化器正交的插件式解决方案，可增强 FedAvg、FedProx、FedDyn、SCAFFOLD 和 MOON 等算法。

提出的方法

• 在服务器端训练生成器，以建模本地模型的输入空间，并为知识蒸馏生成伪数据。
• 实施困难样本挖掘策略，识别并优先处理导致本地模型与全局模型预测不一致的样本。
• 采用无数据蒸馏方法，在不访问原始客户端数据的前提下，将知识从本地模型迁移至全局模型。
• 应用定制化标签采样方法，在知识迁移过程中对齐客户端之间的标签分布偏移。
• 采用类别级集成方法聚合客户端的预测结果，以最大化知识利用率。
• 以无数据方式对抗性训练生成器与全局模型，以在保护隐私的同时提升性能。

实验结果

研究问题

• RQ1 在聚合后对全局模型进行微调是否能提升非独立同分布联邦学习中的性能？
• RQ2 如何在不访问原始客户端数据的前提下，有效实现从本地模型到全局模型的知识迁移？
• RQ3 在异构数据环境下，困难样本挖掘在增强知识蒸馏方面起到何种作用？
• RQ4 在全局模型优化过程中，如何缓解客户端之间的标签分布偏移？
• RQ5 FedFTG 在多大程度上可作为插件集成到现有联邦优化算法中以提升性能？

主要发现

• 在 MIO-TCD 数据集上，FedFTG 达到 91.16% 的测试准确率，优于 FedAvg（89.63%）和 FedProx（89.69%）超过 1.5 个百分点。
• 在 CompCar 数据集上，FedFTG 达到 51.85% 的准确率，超过 FedDyn（50.46%）和 SCAFFOLD（48.64%）超过 3%。
• 在 Tiny-ImageNet 数据集上，FedFTG 达到 42.23% 的准确率，超过 FedGen（35.44%）和 FedDF（36.19%）超过 6%。
• FedFTG 在所有基准测试中均表现更优，展现出相对于 FedAvg、FedProx、FedDyn、SCAFFOLD、MOON、FedGen 和 FedDF 等当前最先进方法的一致优越性。
• 该方法引入的通信开销可忽略不计，仅需传输标签统计信息，即使在标签中加入噪声，性能下降也低于 0.1%。
• 由于增加了全局模型微调，FedFTG 每轮训练时间约为 FedAvg 的两倍，但显著的准确率提升使其具有合理性。