[论文解读] Emerging Trends in Federated Learning: From Model Fusion to Federated X Learning

Shaoxiong Ji, Yue Tan+7 more|arXiv (Cornell University)|Feb 25, 2021

Privacy-Preserving Technologies in Data参考文献 229被引用 19

一句话总结

本文综述了联邦学习中的新兴趋势，重点探讨了自适应聚合、正则化、聚类和贝叶斯方法等模型融合技术，以应对统计异质性并提升鲁棒性。此外，通过将联邦学习与元学习、迁移学习和无监督学习等范式相结合，提出了“联邦X学习”（Federated X Learning），构建了一个统一的分类体系，并识别了在隐私保护、可扩展性和个性化人工智能系统方面的关键挑战与未来方向。

ABSTRACT

Federated learning is a new learning paradigm that decouples data collection and model training via multi-party computation and model aggregation. As a flexible learning setting, federated learning has the potential to integrate with other learning frameworks. We conduct a focused survey of federated learning in conjunction with other learning algorithms. Specifically, we explore various learning algorithms to improve the vanilla federated averaging algorithm and review model fusion methods such as adaptive aggregation, regularization, clustered methods, and Bayesian methods. Following the emerging trends, we also discuss federated learning in the intersection with other learning paradigms, termed federated X learning, where X includes multitask learning, meta-learning, transfer learning, unsupervised learning, and reinforcement learning. In addition to reviewing state-of-the-art studies, this paper also identifies key challenges and applications in this field, while also highlighting promising future directions.

研究动机与目标

• 解决由于客户端数据分布非独立同分布（non-IID）导致的联邦学习中的统计异质性问题。
• 通过自适应加权、正则化和聚类等先进融合技术，提升模型聚合的鲁棒性。
• 探索联邦学习与其他学习范式（如元学习、迁移学习、无监督学习）的整合，以提升其在现实世界中的广泛应用潜力。
• 识别联邦学习中的关键挑战，如标签稀缺性、通信效率和客户端公平性。
• 基于模型融合原理与跨范式整合，提出一种新颖的联邦学习分类体系。

提出的方法

• 将模型融合方法划分为四种子类：自适应/注意力聚合、正则化、聚类和贝叶斯方法。
• 基于模型融合机制与其它学习范式的整合（如联邦元学习、联邦迁移学习），提出统一的联邦学习分类体系。
• 利用数据质量、模型一致性及历史表现等指标，分析客户端贡献加权，以提升聚合鲁棒性。
• 应用无监督和半监督技术，通过利用未标记数据和伪标签来缓解标签稀缺问题。
• 采用基于图的方法（如FedGP）校正噪声标签，并在医学影像应用中减少梯度漂移。
• 通过模型插值和元学习实现设备端个性化，提升单个客户端性能，同时不损害隐私。

实验结果

研究问题

• RQ1 如何使联邦模型聚合对统计异质性和非独立同分布（non-IID）数据分布更具鲁棒性？
• RQ2 哪些最有效的模型融合技术（如自适应加权、正则化和聚类）能够提升联邦学习的收敛性和准确性？
• RQ3 如何有效结合联邦学习与其他学习范式（如元学习、迁移学习和无监督学习）？
• RQ4 与标签稀缺性、通信成本和客户端公平性相关的联邦学习关键挑战有哪些？
• RQ5 如何在不损害数据隐私或无需集中微调的前提下实现设备端个性化？

主要发现

• 自适应和注意力聚合方法（如FedAtt和FedAMP）通过根据模型质量与数据特征动态加权客户端贡献，显著提升了模型准确率。
• 正则化与基于聚类的聚合方法可减少模型偏差，提升在非独立同分布（non-IID）数据上的性能，尤其在统计异质性较高的场景中表现更优。
• 联邦X学习框架（如联邦元学习和联邦迁移学习）可实现更快的适应速度和更好的泛化能力，尤其适用于标注数据有限的客户端。
• 基于图的方法（如FedGP）通过图引导的损失函数，在医学影像中通过净化噪声标签和减少梯度漂移，显著增强了模型鲁棒性。
• 通过模型插值和元学习实现的设备端个性化，使客户端在保持全局模型效用的同时，能够在其私有数据上实现更高的准确率。
• 无监督和半监督学习技术对缓解标签稀缺问题至关重要，使在标签成本高昂或不可行的真实场景中仍能实现有效训练。