[论文解读] Meta Knowledge Condensation for Federated Learning

Ping Liu, Xin Yu+1 more|arXiv (Cornell University)|Sep 29, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文提出 FedMK，一种通信高效的联邦学习框架，通过将本地数据压缩为紧凑的元知识以用于全局模型训练。通过使用动态权重分配和元知识共享，FedMK 降低了通信成本，并实现了最先进性能——在仅 10轮通信下，MNIST 上的准确率从 74.07% 提升至 92.95%。

ABSTRACT

Existing federated learning paradigms usually extensively exchange distributed models at a central solver to achieve a more powerful model. However, this would incur severe communication burden between a server and multiple clients especially when data distributions are heterogeneous. As a result, current federated learning methods often require a large number of communication rounds in training. Unlike existing paradigms, we introduce an alternative perspective to significantly decrease the communication cost in federate learning. In this work, we first introduce a meta knowledge representation method that extracts meta knowledge from distributed clients. The extracted meta knowledge encodes essential information that can be used to improve the current model. As the training progresses, the contributions of training samples to a federated model also vary. Thus, we introduce a dynamic weight assignment mechanism that enables samples to contribute adaptively to the current model update. Then, informative meta knowledge from all active clients is sent to the server for model update. Training a model on the combined meta knowledge without exposing original data among different clients can significantly mitigate the heterogeneity issues. Moreover, to further ameliorate data heterogeneity, we also exchange meta knowledge among clients as conditional initialization for local meta knowledge extraction. Extensive experiments demonstrate the effectiveness and efficiency of our proposed method. Remarkably, our method outperforms the state-of-the-art by a large margin (from $74.07\%$ to $92.95\%$) on MNIST with a restricted communication budget (i.e. 10 rounds).

研究动机与目标

• 解决因客户端与服务器之间频繁交换模型而导致的高通信成本问题。
• 在不共享原始数据的前提下缓解去中心化客户端之间的数据异构性问题。
• 减少训练高性能全局模型所需的通信轮数。
• 开发一种隐私保护方法，仅传输压缩后的代表性知识，而非原始数据或完整模型。
• 通过可学习约束和基于元知识的条件初始化，提升训练稳定性和收敛性。

提出的方法

• 使用双层优化过程将本地客户端数据压缩为高度紧凑的元知识：内层循环更新模型，外层循环优化元知识。
• 基于样本的训练损失应用动态权重分配，使其对模型更新的贡献可自适应调整。
• 实施元知识共享，为元知识优化提供条件初始化，增强跨客户端的知识交换。
• 在上传的元知识和通过可学习条件生成器生成的合成样本上训练全局模型，该生成器用于建模元知识分布。
• 在中心化模型训练过程中引入可学习约束，以提升训练稳定性和泛化能力。
• 利用生成的合成数据作为历史上下文，指导模型更新，从而减少对原始数据的依赖。

实验结果

研究问题

• RQ1 元知识提炼是否能在保持模型性能的同时显著降低联邦学习中的通信开销？
• RQ2 在数据异构性条件下，动态权重分配如何改善模型收敛性？
• RQ3 在去中心化环境中，元知识共享在多大程度上增强了客户端之间的知识迁移？
• RQ4 在通信轮数有限的情况下，基于压缩元知识训练的全局模型是否能超越通过标准平均方法训练的模型？
• RQ5 在仅允许 10 轮通信的情况下，所提方法在保持模型准确率方面的有效性如何？

主要发现

• FedMK 在仅 10 轮通信下于 MNIST 上实现了 92.95% 的测试准确率，相比相同预算下先前 SOTA 的 74.07% 有显著提升。
• FedMK 的通信成本在 10 轮内约为 1600 万参数，而 FedAvg 在 200 轮内为 4.2 亿参数，通信成本降低约 26 倍。
• 可视化与隐私评估表明，元知识高度压缩且语义模糊化，从元知识中重建原始数据在技术上不可行。
• 动态权重分配与元知识共享的结合显著加快了收敛速度并提升了泛化能力，尤其在数据异构性条件下表现更优。
• 可学习条件生成器通过提供建模上传元知识统计分布的合成数据，提升了训练稳定性。
• FedMK 在 MNIST、SVHN、CIFAR10 和 CIFAR100 上均优于所有对比方法，尤其在低通信预算下表现突出。