[论文解读] Lower Bounds and Optimal Algorithms for Personalized Federated Learning

Filip Hanzely, Slavomír Hanzely+2 more|arXiv (Cornell University)|Oct 5, 2020

Privacy-Preserving Technologies in Data参考文献 55被引用 64

一句话总结

本论文为个性化联邦学习设定建立下界，并给出若干在通信和本地计算上可被证明最优的算法，包括 FedProx 和 FedAvg/Local SGD 的加速变体。

ABSTRACT

In this work, we consider the optimization formulation of personalized federated learning recently introduced by Hanzely and Richtárik (2020) which was shown to give an alternative explanation to the workings of local { t SGD} methods. Our first contribution is establishing the first lower bounds for this formulation, for both the communication complexity and the local oracle complexity. Our second contribution is the design of several optimal methods matching these lower bounds in almost all regimes. These are the first provably optimal methods for personalized federated learning. Our optimal methods include an accelerated variant of { t FedProx}, and an accelerated variance-reduced version of { t FedAvg}/Local { t SGD}. We demonstrate the practical superiority of our methods through extensive numerical experiments.

研究动机与目标

• 通过使用一个混合目标来激励联邦学习中的个性化，允许本地模型区别同时对不相似性进行惩罚。
• 为个性化FL公式建立通信和本地计算复杂度下界。
• 在不同的情形下开发并分析与这些下界相匹配的最优算法。

提出的方法

• 研究混合FL目标 F(x) = f(x) + lambda psi(x) 及其性质。
• 推导在通信轮次和本地近端/梯度/近端和梯度和求解器调用方面的下界。
• 提出并分析包括加速近端梯度下降(APGD)变体、带有 AGD 或 Katyusha 作为本地求解器的非精确 APGD(IAPGD)，以及一个加速的 L2SGD+ (AL2SGD+) 方法。
• 证明本地求解器可以不精确同时保持最优的速率。
• 在 lambda 对 L 的不同情形下比较本地和通信复杂度，并给出最优性条件。
• 提供在数据集和数据分布下比较 IAPGD+Katyusha、AL2SGD+ 和 L2SGD+ 的实验证据。

实验结果

研究问题

• RQ1 在使用混合目标的个性化联邦学习中，达到最优解的 epsilon 邻域需要的通信和本地计算的基本下界是什么？
• RQ2 我们能否在各种求解模型（近端、梯度、分量梯度）下设计达到这些下界的算法？
• RQ3 最优速率如何依赖于 L（光滑性）、mu（强凸性）和 lambda（个性化强度）？
• RQ4 在联邦个性化中使用不精确的本地求解器有哪些实际性能含义？

主要发现

• 论文证明，为达到最优解的 epsilon 邻域，至少需要 O(sqrt(min{L, lambda}/mu) log(1/epsilon)) 次通信轮次。
• 在相应设置下，本地近端/梯度/分量梯度求解的复杂度至少为 O(sqrt(min{L, lambda}/mu) log(1/epsilon)) 或 O(sqrt(L/mu) log(1/epsilon))。
• 多种算法在不同情形下达到这些最优速率，包括 APGD 变体以及带 AGD 或 Katyusha 作为本地求解器的 IAPGD，以及在广泛条件下达到最优通信和本地梯度复杂度的 AL2SGD+。
• IAPGD + Katyusha 在分量梯度设置下提供最优通信且接近最优的本地梯度，尽管在实践中可能带来额外的对数因子；AL2SGD+ 提供普遍最优的通信并且本地梯度复杂度良好。
• 结果确立了个性化联邦学习中第一个有理论保证的最优方法，并为异构数据场景中的本地方法提供了正当性。