[论文解读] FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization.

Canh T. Dinh, Tung T. Vu+3 more|arXiv (Cornell University)|Feb 14, 2021

Privacy-Preserving Technologies in Data参考文献 51被引用 37

一句话总结

FedU 提出了一种使用拉普拉斯正则化的统一联邦多任务学习框架，以显式建模客户端关系，从而在多种联邦学习设置中实现性能提升。该方法在强凸目标下实现线性收敛，在非凸目标下实现 1/2 阶次线性收敛，优于 FedAvg、MOCHA、pFedMe 和 Per-FedAvg 在个性化联邦学习基准中的表现。

ABSTRACT

Federated multi-task learning (FMTL) has emerged as a natural choice to capture the statistical diversity among the clients in federated learning. To unleash the potential of FMTL beyond statistical diversity, we formulate a new FMTL problem FedU using Laplacian regularization, which can explicitly leverage relationships among the clients for multi-task learning. We first show that FedU provides a unified framework covering a wide range of problems such as conventional federated learning, personalized federated learning, few-shot learning, and stratified model learning. We then propose algorithms including both communication-centralized and decentralized schemes to learn optimal models of FedU. Theoretically, we show that the convergence rates of both FedU's algorithms achieve linear speedup for strongly convex and sublinear speedup of order $1/2$ for nonconvex objectives. While the analysis of FedU is applicable to both strongly convex and nonconvex loss functions, the conventional FMTL algorithm MOCHA, which is based on CoCoA framework, is only applicable to convex case. Experimentally, we verify that FedU outperforms the vanilla FedAvg, MOCHA, as well as pFedMe and Per-FedAvg in personalized federated learning.

研究动机与目标

• 为解决传统联邦学习在捕捉客户端特定统计差异和任务关系方面的局限性。
• 将个性化联邦学习、少样本学习和分层学习等多种联邦学习范式统一于单一框架之下。
• 开发一种可扩展、通信高效的算法，通过拉普拉斯正则化利用客户端相似性。
• 为凸与非凸目标建立理论收敛保证，突破以往仅限于凸情况的方法（如 MOCHA）的局限。

提出的方法

• 提出统一的 FMTL 公式 FedU，通过客户端相似性图上的拉普拉斯正则化项建模客户端关系。
• 采用基于图的正则化方法，促使相似客户端共享知识，从而提升泛化能力与个性化性能。
• 设计集中式与去中心化优化算法以求解 FedU 目标，支持灵活的通信架构。
• 在强凸性下推导出线性收敛速度，在非凸性下获得 1/2 阶次线性收敛速度，理论分析适用于凸与非凸损失函数。
• 采用原始-对偶优化方法处理正则化目标，实现客户端间高效分布式训练。

实验结果

研究问题

• RQ1 一个统一框架能否在单一优化目标下有效整合传统联邦学习、个性化联邦学习、少样本学习与分层学习？
• RQ2 在联邦多任务学习中，对客户端相似性施加拉普拉斯正则化如何提升模型性能与收敛性？
• RQ3 FedU 在凸与非凸目标下的理论收敛特性为何？与现有方法相比有何差异？
• RQ4 FedU 是否能在泛化能力与个性化性能方面优于当前最先进基线方法（如 pFedMe 与 Per-FedAvg）？

主要发现

• FedU 在强凸目标下实现线性收敛加速，表明在有利条件下具备最优可扩展性。
• 在非凸目标下，FedU 实现 1/2 阶次线性收敛速率，具有竞争力且理论基础坚实。
• FedU 的理论分析适用于凸与非凸损失函数，而 MOCHA 仅限于凸情况，因此 FedU 的适用范围更广。
• 实验结果表明，FedU 在个性化联邦学习基准中优于 FedAvg、MOCHA、pFedMe 与 Per-FedAvg。