[论文解读] FedLGA: Towards System-Heterogeneity of Federated Learning via Local Gradient Approximation

Xingyu Li, Zhe Qu+2 more|arXiv (Cornell University)|Dec 22, 2021

Privacy-Preserving Technologies in Data参考文献 61被引用 5

一句话总结

FedLGA 提出了一种新颖的联邦学习算法，通过在聚合器上使用计算能力各异的设备提供的不完整本地更新来近似完整本地梯度，从而解决系统异构性问题。通过仅引入线性计算开销的交替 Hessian 估计方法，FedLGA 在完全参与下实现了 $\mathcal{O}\left(\frac{(1+\rho)}{\sqrt{NT}} + \frac{1}{T}\right)$ 的收敛速率，在部分参与下实现了 $\mathcal{O}\left(\frac{(1+\rho)\sqrt{E}}{\sqrt{TK}} + \frac{1}{T}\right)$ 的收敛速率，优于现有方法在非独立同分布数据和异构设备上的表现。

ABSTRACT

Federated Learning (FL) is a decentralized machine learning architecture, which leverages a large number of remote devices to learn a joint model with distributed training data. However, the system-heterogeneity is one major challenge in a FL network to achieve robust distributed learning performance, which comes from two aspects: i) device-heterogeneity due to the diverse computational capacity among devices; ii) data-heterogeneity due to the non-identically distributed data across the network. Prior studies addressing the heterogeneous FL issue, e.g., FedProx, lack formalization and it remains an open problem. This work first formalizes the system-heterogeneous FL problem and proposes a new algorithm, called FedLGA, to address this problem by bridging the divergence of local model updates via gradient approximation. To achieve this, FedLGA provides an alternated Hessian estimation method, which only requires extra linear complexity on the aggregator. Theoretically, we show that with a device-heterogeneous ratio $ρ$, FedLGA achieves convergence rates on non-i.i.d. distributed FL training data for the non-convex optimization problems with $\mathcal{O} \left( \frac{(1+ρ)}{\sqrt{ENT}} + \frac{1}{T} ight)$ and $\mathcal{O} \left( \frac{(1+ρ)\sqrt{E}}{\sqrt{TK}} + \frac{1}{T} ight)$ for full and partial device participation respectively, where $E$ is the number of local learning epoch, $T$ is the number of total communication round, $N$ is the total device number and $K$ is the number of selected device in one communication round under partially participation scheme. The results of comprehensive experiments on multiple datasets show that FedLGA outperforms current FL methods against the system-heterogeneity.

研究动机与目标

• 解决由数据异构性和设备异构性共同引发的联邦学习中的系统异构性挑战。
• 形式化系统异构联邦学习问题，特别关注由于设备计算能力差异导致的不完整本地更新。
• 开发一种方法，实现在无需所有设备完成完整本地训练周期的情况下实现收敛和鲁棒性能。
• 在保持模型准确性和收敛性保证的同时，最小化远程设备上的计算开销。
• 为非凸优化在完全和部分设备参与方案下的理论收敛边界提供支持。

提出的方法

• 提出 FedLGA，一种新颖的联邦学习算法，利用计算能力各异的设备提供的不完整本地更新来近似最优梯度。
• 在聚合器上实现一种交替 Hessian 估计方法，以在不依赖设备完成完整本地训练的情况下近似完整本地梯度。
• 引入一种类似近端的更新规则，通过弥合部分更新与完整更新之间的偏差来稳定收敛。
• 设计算法使得所有额外计算均在聚合器上完成，远程设备无需承担额外计算成本。
• 采用线性复杂度的 Hessian 近似技术以保持效率，每轮通信仅增加 $\mathcal{O}(d)$ 的额外开销，其中 $d$ 为模型维度。
• 制定优化问题以支持部分参与，允许设备在未完成所有本地周期的情况下仍可贡献。

实验结果

研究问题

• RQ1 当设备因计算异构性而贡献不完整本地更新时，联邦学习系统能否实现收敛？
• RQ2 聚合器如何仅利用来自异构设备的部分本地更新来近似完整本地梯度？
• RQ3 在系统异构条件下且设备部分参与时，联邦学习算法的理论收敛速率是多少？
• RQ4 所提方法能否在最小化边缘设备通信和计算开销的同时保持高模型准确性？
• RQ5 在非独立同分布和异构设置下，所提方法与 FedProx、FedAvg 和 Scaffold 等现有方法相比，在收敛性和鲁棒性方面表现如何？

主要发现

• 在完全设备参与下，FedLGA 实现了理论收敛速率 $\mathcal{O}\left(\frac{(1+\rho)}{\sqrt{NT}} + \frac{1}{T}\right)$，其中 $\rho$ 为设备异构性比率。
• 在部分参与下，FedLGA 实现了收敛速率 $\mathcal{O}\left(\frac{(1+\rho)\sqrt{E}}{\sqrt{TK}} + \frac{1}{T}\right)$，其中 $E$ 为本地周期数，$T$ 为总轮数，$K$ 为每轮选择的设备数。
• 在多个真实世界数据集上的全面实验表明，FedLGA 在测试准确率、通信效率和总训练时间方面均优于 FedProx、FedAvg 和 Scaffold。
• 该方法在聚合器上仅引入线性计算开销，使其在大规模联邦学习系统中具备可扩展性和实用性。
• 即使计算能力较低的设备仅贡献部分更新，FedLGA 仍能保持稳健性能，展现出对系统异构性的强鲁棒性。
• FedLGA 中的 Hessian 近似方法可在无需完整本地训练的情况下实现准确的梯度估计，从而减少对设备同步的需求。