[论文解读] Federated learning using mixture of experts

Edvin Listo Zec, John Martinsson+3 more|arXiv (Cornell University)|May 4, 2021

Privacy-Preserving Technologies in Data参考文献 8被引用 7

一句话总结

本文提出了一种使用专家混合（MoE）的联邦学习框架，以解决去中心化学习中的数据异构性问题并增强隐私保护。通过结合本地专业模型与全局通用模型，该方法在部分客户端选择不参与模型共享的情况下，仍能提升个性化和鲁棒性，同时通过选择性数据披露实现严格的隐私保护。

ABSTRACT

Federated learning has received attention for its efficiency and privacy benefits,in settings where data is distributed among devices. Although federated learning shows significant promise as a key approach when data cannot be shared or centralized, current incarnations show limited privacy properties and have short-comings when applied to common real-world scenarios. One such scenario is heterogeneous data among devices, where data may come from different generating distributions. In this paper, we propose a federated learning framework using a mixture of experts to balance the specialist nature of a locally trained model with the generalist knowledge of a global model in a federated learning setting. Our results show that the mixture of experts model is better suited as a personalized model for devices when data is heterogeneous, outperforming both global and lo-cal models. Furthermore, our framework gives strict privacy guarantees, which allows clients to select parts of their data that may be excluded from the federation. The evaluation shows that the proposed solution is robust to the setting where some users require a strict privacy setting and do not disclose their models to a central server at all, opting out from the federation partially or entirely. The proposed framework is general enough to include any kind of machine learning models, and can even use combinations of different kinds.

研究动机与目标

• 为解决当前联邦学习在处理设备间异构数据分布方面的局限性。
• 通过平衡本地专业模型与全局通用模型，提升模型个性化。
• 提供强有力的隐私保障，允许客户端排除敏感数据或模型参与中心化聚合。
• 支持灵活的客户端参与机制，包括部分或完全退出模型共享。
• 设计一种可泛化的框架，兼容各种机器学习模型，包括混合组合模型。

提出的方法

• 该框架采用专家混合架构，每个客户端训练一个针对其数据分布定制的本地专家模型。
• 全局模型充当通用模型，为客户端提供共享知识，而本地专家则专注于设备特定的数据。
• 客户端可选择性地仅共享其模型更新的部分内容，从而实现对敏感数据的严格隐私保护。
• 系统根据输入特征动态将输入路由至最相关的本地专家和全局模型。
• 训练过程在客户端本地专家的更新与全局模型更新聚合之间交替进行，通过差分隐私或数据过滤技术保持隐私。
• 该框架支持不同设备上使用异构模型——即不同架构或算法，从而实现模型多样性。

实验结果

研究问题

• RQ1 如何使联邦学习在客户端间数据异构性下更具鲁棒性？
• RQ2 专家混合架构是否能在不损害隐私的前提下提升联邦学习中的个性化表现？
• RQ3 当部分客户端完全或部分退出模型共享时，该框架的性能如何？
• RQ4 选择性数据披露对模型准确率和收敛性有何影响？
• RQ5 该框架能否在保持系统一致性的前提下，支持客户端间多样化的模型类型？

主要发现

• 在数据异构条件下，专家混合模型在准确率上优于仅使用全局模型或仅使用本地模型的方案，展现出更优的个性化能力。
• 即使部分客户端将其模型排除在中心化聚合之外，该框架仍能保持高性能，表明其对部分参与具有强鲁棒性。
• 客户端可通过选择性披露其数据或模型更新中的非敏感部分，实现强大的隐私保护。
• 系统支持设备间异构模型类型，实现灵活且多样的模型集成。
• 该方法具有良好的可泛化能力，可应用于任意机器学习模型，包括不同架构的组合。
• 该框架在训练过程中确保收敛性与稳定性，即使在客户端参与度和数据分布不一致的情况下亦成立。