[论文解读] From Local SGD to Local Fixed-Point Methods for Federated Learning

Grigory Malinovsky, Dmitry Kovalev+3 more|arXiv (Cornell University)|Apr 3, 2020

Stochastic Gradient Optimization Techniques参考文献 18被引用 10

一句话总结

该论文通过将局部SGD推广到更广泛的定点问题，提出了两种通信高效的定点算法。引入了本地步长和随机通信策略，在温和条件下证明了线性收敛性，理论边界表明其在通信效率上优于标准局部SGD。

ABSTRACT

Most algorithms for solving optimization problems or finding saddle points of convex-concave functions are fixed-point algorithms. In this work we consider the generic problem of finding a fixed point of an average of operators, or an approximation thereof, in a distributed setting. Our work is motivated by the needs of federated learning. In this context, each local operator models the computations done locally on a mobile device. We investigate two strategies to achieve such a consensus: one based on a fixed number of local steps, and the other based on randomized computations. In both cases, the goal is to limit communication of the locally-computed variables, which is often the bottleneck in distributed frameworks. We perform convergence analysis of both methods and conduct a number of experiments highlighting the benefits of our approach.

研究动机与目标

• 通过将局部SGD推广至定点优化，解决联邦学习中的通信瓶颈。
• 将分布式计算建模为在M个设备上的算子平均值的定点问题。
• 提出两种策略：本地步长（确定性）和随机通信（随机性），以减少通信开销。
• 在标准假设下，对两种方法提供收敛性分析，包括利普希茨连续性和平均算子性质。
• 建立线性收敛速率，明确依赖于通信频率和问题条件数。

提出的方法

• 将问题表述为寻找平均算子 T(x) = (1/M)ΣT_i(x) 的定点，其中每个 T_i 表示设备 i 上的本地计算。
• 提出本地步长方法：每个设备在与服务器同步前执行 k 次其算子 T_i 的本地迭代。
• 引入随机通信方法：设备以概率 p ∈ (0,1) 进行通信，否则执行本地更新。
• 使用李雅普诺夫函数 Ψ^k = ||x^k - x*||² + (5λ/p)V_k 分析收敛性，其中 V_k 跟踪本地梯度的方差。
• 建立期望收缩关系：E[Ψ^{k+1}] ≤ (1 - μ)Ψ^k + Cλ³σ²/p²，其中 μ = min(λρ/(1+ρ), p/5)。
• 推导出收敛速率 T = O(log(1/ε))，明确依赖于 ε、σ、ρ、p 和 λ，表明通信效率的提升。

实验结果

研究问题

• RQ1 能否将局部SGD从梯度下降推广到联邦学习中更广泛的定点问题？
• RQ2 本地定点方法的收敛性如何依赖于本地步数和通信概率？
• RQ3 随机通信策略在定点优化中的理论收敛速率是什么？
• RQ4 结合误差与方差项的李雅普诺夫函数能否提供比标准目标更紧的收敛界？
• RQ5 通信频率如何影响分布式定点方法中计算与收敛之间的权衡？

主要发现

• 所提出的本地步长方法实现了线性收敛，收敛速率依赖于条件数 ρ 和步长 λ。
• 随机通信方法以概率 p 确保收敛，且期望误差随 T 线性衰减。
• 收敛速率为 O(log(1/ε))，明确依赖于 ε、σ、ρ、p 和 λ，表明通信效率的提升。
• 边界 T ≥ max{15(1+ρ)/(ρp), 18σ(1+ρ)^{1/3}/(pρ^{3/2}ε^{1/2}), 40σ^{2/3}(1+ρ)/(pρε^{1/3})} log(2Ψ₀/ε) 量化了精度与通信之间的权衡。
• 分析表明，在合适参数选择下，通信可减少达 O(1/p) 倍而无需牺牲收敛速率。
• 该方法在迭代次数 T 上实现 ε-精度，且 T 随 1/ε 的对数尺度增长，证实了线性收敛。