[论文解读] Fed+: A Unified Approach to Robust Personalized Federated Learning

P. L. Yu, Achintya Kundu+2 more|arXiv (Cornell University)|Sep 14, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用 8

一句话总结

Fed+ 是一种统一的鲁棒个性化联邦学习框架，通过使用鲁棒统计方法进行模型聚合，无需假设客户端间数据独立或同分布。它在数据异构性和计算条件异质性下仍能保证收敛，在现实场景（如金融投资组合管理）中表现优于标准联邦学习。

ABSTRACT

We present a class of methods for robust, personalized federated learning, called Fed+, that unifies many federated learning algorithms. The principal advantage of this class of methods is to better accommodate the real-world characteristics found in federated training, such as the lack of IID data across parties, the need for robustness to outliers or stragglers, and the requirement to perform well on party-specific datasets. We achieve this through a problem formulation that allows the central server to employ robust ways of aggregating the local models while keeping the structure of local computation intact. Without making any statistical assumption on the degree of heterogeneity of local data across parties, we provide convergence guarantees for Fed+ for convex and non-convex loss functions and robust aggregation. The Fed+ theory is also equipped to handle heterogeneous computing environments including stragglers without additional assumptions; specifically, the convergence results cover the general setting where the number of local update steps across parties can vary. We demonstrate the benefits of Fed+ through extensive experiments across standard benchmark datasets as well as on a challenging real-world problem in financial portfolio management where the heterogeneity of party-level data can lead to training failure in standard federated learning approaches.

研究动机与目标

• 解决标准联邦学习在处理客户端间非独立同分布（non-IID）数据和异常值时的局限性。
• 开发一种统一框架，在保持本地计算结构的同时实现鲁棒的全局聚合。
• 在数据异构性和本地更新步数可变的条件下，为凸和非凸损失函数提供理论收敛保证。
• 支持异构计算环境，包括计算延迟客户端（stragglers），且无需额外假设。
• 在标准联邦学习失效的真实世界应用中（如金融投资组合管理）证明其有效性。

提出的方法

• Fed+ 提出一种统一的问题形式化，将本地模型更新与鲁棒全局聚合解耦。
• 在本地模型更新上采用鲁棒聚合技术（如截断均值或基于中位数的方法），以减轻异常值和延迟客户端的影响。
• 该框架保留了本地训练结构，允许每个客户端在不修改本地优化过程的前提下执行标准本地优化。
• 在一般设置下（包括本地更新步数可变），理论保证了凸和非凸目标函数的收敛性。
• 该方法无需对数据异构性做统计假设，从而在多样化联邦学习场景中具有广泛适用性。

实验结果

研究问题

• RQ1 能否设计一种统一的联邦学习框架，在不假设客户端间数据独立同分布的前提下，实现对数据异构性和异常值的鲁棒性？
• RQ2 如何在保留本地计算模式的同时，将鲁棒聚合集成到联邦学习中？
• RQ3 在非独立同分布数据和可变本地更新次数下，Fed+ 的理论收敛性可建立何种保证？
• RQ4 Fed+ 是否能在极端数据异构性的真实世界应用（如金融投资组合管理）中保持性能？
• RQ5 在存在延迟客户端的条件下，Fed+ 与标准联邦学习在收敛性和鲁棒性方面相比如何？

主要发现

• Fed+ 在不假设客户端间数据独立或同分布的前提下，实现了凸和非凸损失函数的收敛。
• 该框架在异构计算环境中对异常值和延迟客户端保持鲁棒性，且无需额外假设。
• 在基准数据集上，Fed+ 表现优于标准联邦学习，尤其在高数据异构性下优势更明显。
• 在金融投资组合管理任务中，Fed+ 能成功训练模型，而标准联邦学习因极端数据偏离而失效。
• 该方法在不同本地更新步数下均表现出稳定可靠的性能，证实其在真实世界部署场景中的鲁棒性。