[论文解读] Federated Mutual Learning

Tao Shen, Jie Zhang+7 more|arXiv (Cornell University)|Jun 27, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 71

一句话总结

Federated Mutual Learning (FML) enables simultaneous training of a generalized global model and personalized local models by using deep mutual learning, handling data, objective, and model heterogeneities in federated settings. It updates local meme and personalized models via mutual knowledge distillation and aggregates meme models to form the new global model.

ABSTRACT

Federated learning (FL) enables collaboratively training deep learning models on decentralized data. However, there are three types of heterogeneities in FL setting bringing about distinctive challenges to the canonical federated learning algorithm (FedAvg). First, due to the Non-IIDness of data, the global shared model may perform worse than local models that solely trained on their private data; Second, the objective of center server and clients may be different, where center server seeks for a generalized model whereas client pursue a personalized model, and clients may run different tasks; Third, clients may need to design their customized model for various scenes and tasks; In this work, we present a novel federated learning paradigm, named Federated Mutual Leaning (FML), dealing with the three heterogeneities. FML allows clients training a generalized model collaboratively and a personalized model independently, and designing their private customized models. Thus, the Non-IIDness of data is no longer a bug but a feature that clients can be personally served better. The experiments show that FML can achieve better performance than alternatives in typical FL setting, and clients can be benefited from FML with different models and tasks.

研究动机与目标

• 在三类异质性下激发联邦学习：数据非IID性、服务器-客户端目标不匹配、以及模型异质性。
• 提出一个灵活的FL框架（FML），在自定义架构下训练全局的一般化模型和个性化本地模型。
• 利用深度互学习，在本地更新期间实现 meme（全局锚定）与个性化模型之间的双向知识传递。
• 允许客户端设计自己的自定义模型，同时通过全局 meme 模型学习的共享表示来受益于协作。

提出的方法

• 为每个客户端引入两模型本地设置：一个从当前全局模型分叉的 meme 模型，以及一个客户端特定的个性化模型。
• 将深度互学习（DML）作为本地更新机制，在 meme 与个性化模型之间进行基于双向KL散度的蒸馏。
• 定义本地更新损失：L_local = alpha * L_C_local + (1 - alpha) * KL(p_meme || p_local); L_meme = beta * L_C_meme + (1 - beta) * KL(p_local || p_meme).
• 在每一轮中，客户端在私有数据上通过DML更新他们的meme模型和个性化模型，然后将meme模型发送给服务器进行全局聚合，通过简单平均meme模型来实现。
• 收敛时，全局模型表示对联合数据的通用模型，而个性化模型保留在客户端，针对其局部分布进行定制。
• 通过在聚合中移除样本数量权重并将每个客户端视为同等来讨论隐私和公平性考量。

实验结果

研究问题

• RQ1 如何在数据非IID性下仍然为本地个性化模型提供鲁棒的联邦学习？
• RQ2 与标准的FedAvg变体相比，两模型本地更新结合互信息传递是否能同时提升全局泛化和本地个性化？
• RQ3 模型异质性（跨客户端的不同架构）在联邦互学习下对性能的影响？
• RQ4 在训练过程中平衡数据驱动学习和知识传递的最佳alpha和beta设置是什么？
• RQ5 在聚合中放弃样本计数权重对隐私和公平性的影响？

主要发现

• FML 在典型 FL 场景下对 IID 和非 IID 数据，以及多种模型族中的表现通常优于 FedAvg 和 FedProx。
• 基于 DML 的本地更新通过 KL 散度提供强正则化，在非 IID 数据下实现更稳定的训练轨迹。
• 具有不同任务或架构的客户端可以从全局 meme 模型学习的共享表示中受益，支持模型异质性。
• 个性化模型保持独立性并在私有数据上持续学习，而 meme 模型在全局聚合以形成全球模型的下一代。
• 移除 n_k/n 权重、采用平等对待客户端对隐私和公平性有积极影响，在许多设置下对性能的影响微乎其微。