[论文解读] A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates

Yann Fraboni, Yu. Vertogradova+2 more|arXiv (Cornell University)|Jun 21, 2022

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本文提出了一种适用于异构客户端的异步联邦优化的通用理论框架，通过随机聚合权重对延迟进行建模，以确保收敛至全局最优解。该文引入了FedFix，一种新颖的方案，通过在固定时间窗口内聚合更新来稳定异步训练，在稳定性和收敛速度方面优于同步和标准异步FedAvg。

ABSTRACT

We propose a novel framework to study asynchronous federated learning optimization with delays in gradient updates. Our theoretical framework extends the standard FedAvg aggregation scheme by introducing stochastic aggregation weights to represent the variability of the clients update time, due for example to heterogeneous hardware capabilities. Our formalism applies to the general federated setting where clients have heterogeneous datasets and perform at least one step of stochastic gradient descent (SGD). We demonstrate convergence for such a scheme and provide sufficient conditions for the related minimum to be the optimum of the federated problem. We show that our general framework applies to existing optimization schemes including centralized learning, FedAvg, asynchronous FedAvg, and FedBuff. The theory here provided allows drawing meaningful guidelines for designing a federated learning experiment in heterogeneous conditions. In particular, we develop in this work FedFix, a novel extension of FedAvg enabling efficient asynchronous federated training while preserving the convergence stability of synchronous aggregation. We empirically demonstrate our theory on a series of experiments showing that asynchronous FedAvg leads to fast convergence at the expense of stability, and we finally demonstrate the improvements of FedFix over synchronous and asynchronous FedAvg.

研究动机与目标

• 解决由于客户端异构性和更新延迟波动导致的异步联邦学习中的不稳定性和收敛问题。
• 构建一个统一的理论模型，推广FedAvg，并将收敛性保证扩展至异步、非独立同分布（non-iid）及异构客户端设置。
• 在异步更新下，提供收敛至真实全局最优解的充分条件，且不依赖于数据异构性。
• 设计并验证FedFix，一种鲁棒的异步联邦学习方案，可在保持收敛稳定性的同时提升训练速度。
• 通过实证结果证明，FedFix在异构环境中优于同步和异步FedAvg。

提出的方法

• 提出一种随机聚合框架，其中客户端更新权重被建模为依赖于其计算时间和能力的随机变量。
• 推导在异步更新下通用联邦优化问题的收敛边界，对聚合权重和学习率施加条件。
• 建立收敛至全局最优解的充分条件，依赖于客户端计算时间的估计值和有界梯度。
• 提出FedFix，一种基于时间窗口的聚合策略，即在固定时间间隔内收集所有客户端的更新后再更新全局模型。
• 通过理论分析表明，FedFix即使在高度异步环境下也能保持收敛稳定性，且其收敛边界比标准异步FedAvg更紧。
• 在CIFAR-10和Shakespeare数据集上，通过在现实时间延迟场景下的实验验证了理论分析的有效性。

实验结果

研究问题

• RQ1 能否构建一个通用的理论框架，以分析具有异构客户端和可变更新延迟的异步联邦学习？
• RQ2 在异步联邦优化中，何种条件可确保收敛至全局最优解，且不依赖于数据异构性？
• RQ3 如何在不依赖同步协调的情况下，使异步联邦学习更加稳定和高效？
• RQ4 与同步和异步FedAvg相比，FedFix在收敛稳定性和速度方面有多大程度的提升？
• RQ5 在所提出的框架下，能否使有偏的客户端采样策略在理论上成立并实现收敛？

主要发现

• FedFix通过消除空闲时间，相比同步FedAvg实现了更快的收敛速度，同时通过时间窗口聚合保持了收敛稳定性。
• 理论分析表明，FedFix在客户端计算时间与学习率满足较宽松条件时，可收敛至全局最优解。
• 在CIFAR-10和Shakespeare数据集上的实验结果表明，异步FedAvg虽收敛迅速但存在不稳定性，而FedFix则提供了持续的性能提升。
• 该框架统一了FedAvg、异步FedAvg和FedBuff，将它们的分析统一于单一理论体系之下。
• 通过将有偏采样（如基于损失或资源）与时间窗口上的无偏采样相结合，可使有偏采样策略在理论上成立并实现收敛，该结论在收敛边界中得到形式化表达。
• FedFix的收敛误差边界比标准异步FedAvg更紧，尤其在高异构性环境下表现更优。