[论文解读] Model-Agnostic Round-Optimal Federated Learning via Knowledge Transfer

Qinbin Li, Bingsheng He+1 more|arXiv (Cornell University)|May 4, 2021

Privacy-Preserving Technologies in Data被引用 10

一句话总结

该论文提出 FedKT，一种模型无关、通信轮次最优的联邦学习算法，通过知识蒸馏实现单轮通信，从而高效训练不可微分模型。该方法支持差分隐私，并在极低通信开销下达到或超越当前最先进水平的准确率。

ABSTRACT

Federated learning enables multiple parties to collaboratively learn a model without exchanging their local data. Currently, federated averaging (FedAvg) is the most widely used federated learning algorithm. However, FedAvg or its variants have obvious shortcomings. It can only be used to learn differentiable models and needs many communication rounds to converge. In this paper, we propose a novel federated learning algorithm FedKT that needs only a single communication round (i.e., round-optimal). With applying the knowledge transfer approach, our algorithm can be applied to any classification model. Moreover, we develop the differentially private versions of FedKT and theoretically analyze the privacy loss. The experiments show that our method can achieve close or better accuracy compared with the other state-of-the-art federated learning algorithms.

研究动机与目标

• 解决 FedAvg 的局限性，即需要多轮通信且仅适用于可微分模型。
• 开发一种支持任意分类模型的联邦学习框架，无论其是否可微分。
• 实现轮次最优——在单轮通信内收敛，同时保持高模型准确率。
• 将差分隐私集成到联邦学习过程中，并提供理论化的隐私损失分析。
• 证明知识迁移可在不共享原始本地数据的情况下实现有效的模型聚合。

提出的方法

• 该方法利用知识蒸馏，将在单轮通信中将本地模型的软标签知识传递给全局模型。
• 每个客户端在其私有数据上训练本地模型，并将其预测结果（软标签）提炼为供全局模型使用的知识。
• 全局模型通过聚合所有客户端的知识进行训练，而非模型参数，从而实现模型无关的训练。
• 通过在聚合前向知识（软标签）添加校准噪声，将该方法扩展为差分隐私变体。
• 理论分析界定了差分隐私下的隐私损失，确保客户端数据得到保护。
• 由于知识迁移机制，该框架可兼容任意分类模型，包括不可微分模型。

实验结果

研究问题

• RQ1 联邦学习能否在保持高模型准确率的前提下实现轮次最优，且适用于多种模型？
• RQ2 知识蒸馏如何在联邦学习中有效应用，以替代参数平均？
• RQ3 所提出的方法能否支持不可微分模型，从而突破 FedAvg 的适用范围？
• RQ4 所提出方法的差分隐私变体的理论隐私损失是多少？
• RQ5 在准确率和通信效率方面，FedKT 与当前最先进联邦学习算法相比表现如何？

主要发现

• FedKT 在单轮通信内实现收敛，与 FedAvg 相比显著减少了训练时间和通信成本。
• 该方法即使仅进行一轮通信，其准确率仍可与或优于当前最先进联邦学习算法。
• 知识蒸馏实现了在多种不可微分模型之间的有效模型聚合，使该方法具备模型无关性。
• FedKT 的差分隐私变体提供了可证明的隐私保障，且隐私损失有界，确保了客户端数据的机密性。
• 实验结果证实，FedKT 在多种基准数据集上均保持高性能，展现出强大的鲁棒性和泛化能力。