[论文解读] FedSplit: An algorithmic framework for fast federated optimization

Reese Pathak, Martin J. Wainwright|arXiv (Cornell University)|May 11, 2020

Stochastic Gradient Optimization Techniques参考文献 28被引用 81

一句话总结

FedSplit 引入了一个用于在联邦设置中分布式凸最小化的算子分裂框架，证明了正确的固定点并在不精确近端更新以及各种光滑性/强凸性情形下提供收敛性保证。

ABSTRACT

Motivated by federated learning, we consider the hub-and-spoke model of distributed optimization in which a central authority coordinates the computation of a solution among many agents while limiting communication. We first study some past procedures for federated optimization, and show that their fixed points need not correspond to stationary points of the original optimization problem, even in simple convex settings with deterministic updates. In order to remedy these issues, we introduce FedSplit, a class of algorithms based on operator splitting procedures for solving distributed convex minimization with additive structure. We prove that these procedures have the correct fixed points, corresponding to optima of the original optimization problem, and we characterize their convergence rates under different settings. Our theory shows that these methods are provably robust to inexact computation of intermediate local quantities. We complement our theory with some simple experiments that demonstrate the benefits of our methods in practice.

研究动机与目标

• 在中心-辐射模型中，由于通信受限，激励联邦优化。
• 分析现有联邦方法的固定点并识别正确性问题。
• 提出 FedSplit 作为一个保持最优固定点的算子分裂框架。
• 在不精确的近端计算和标准凸性/光滑性假设下提供收敛性保证。

提出的方法

• 将分布式问题表述为 F(x)=sum_j f_j(x_j) 并在一致性约束 x_1=...=x_m。
• 应用 Peaceman-Rachford 分裂来构建带局部近端更新和全局平均步骤的 FedSplit 算法。
• 证明 FedSplit 的固定点对应原始分布式问题的最优解（命题 3）。
• 在强凸性和光滑性下给出收敛性结果，包括不精确的近端更新（定理 1）和基于梯度的近端近似（推论 1）。
• 分析现有的 FedSGD 和 FedProx 方法的行为并强调它们的固定点可能并非最优（第 2 节）。

实验结果

研究问题

• RQ1 FedSGD 与 FedProx 是否能保持分布式凸联邦问题的正确固定点？
• RQ2 算子分裂方法是否能产生与原始联邦优化目标一致的固定点？
• RQ3 在什么条件下 FedSplit 方法收敛，且不精确近端计算如何影响收敛？
• RQ4 强凸性和光滑性参数如何影响 FedSplit 的收敛速率？
• RQ5 在实际中近似近端更新对整体收敛性的影响是什么？

主要发现

• 现有的 FedSGD 和 FedProx 的确定性类比可能收敛到非最优的固定点，针对凸联邦问题。
• FedSplit 保留对原始分布式问题最优的固定点（局部变量的平均值给出一个极小点）。
• 在强凸性和光滑性下，即使存在不精确的近端更新，FedSplit 也能实现对最优解的几何收敛（定理 1）。
• 在近端求值为精确时，FedSplit 的收敛速度与条件数 κ 相关；在不精确更新时，收敛性保持在一个依赖近端误差的界内（定理 1）。
• 通过梯度步近似的近端更新仍可保持收敛性保证，误差随梯度步数呈指数衰减（推论 1）。