[论文解读] Achieving Linear Speedup with Partial Worker Participation in Non-IID Federated Learning

Haibo Yang, Minghong Fang+1 more|arXiv (Cornell University)|Jan 26, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用 73

一句话总结

这篇论文证明，在非 IID 数据和部分工作者参与的条件下，采用两端学习率的 FedAvg 能实现线性收敛速度提升，且当局部步数达到 T/m 时经适当调参也有利于收敛。

ABSTRACT

Federated learning (FL) is a distributed machine learning architecture that leverages a large number of workers to jointly learn a model with decentralized data. FL has received increasing attention in recent years thanks to its data privacy protection, communication efficiency and a linear speedup for convergence in training (i.e., convergence performance increases linearly with respect to the number of workers). However, existing studies on linear speedup for convergence are only limited to the assumptions of i.i.d. datasets across workers and/or full worker participation, both of which rarely hold in practice. So far, it remains an open question whether or not the linear speedup for convergence is achievable under non-i.i.d. datasets with partial worker participation in FL. In this paper, we show that the answer is affirmative. Specifically, we show that the federated averaging (FedAvg) algorithm (with two-sided learning rates) on non-i.i.d. datasets in non-convex settings achieves a convergence rate $\\mathcal{O}(\\frac{1}{\\sqrt{mKT}} + \\frac{1}{T})$ for full worker participation and a convergence rate $\\mathcal{O}(\\frac{\\sqrt{K}}{\\sqrt{nT}} + \\frac{1}{T})$ for partial worker participation, where $K$ is the number of local steps, $T$ is the number of total communication rounds, $m$ is the total worker number and $n$ is the worker number in one communication round if for partial worker participation. Our results also reveal that the local steps in FL could help the convergence and show that the maximum number of local steps can be improved to $T/m$ in full worker participation. We conduct extensive experiments on MNIST and CIFAR-10 to verify our theoretical results.

研究动机与目标

• 激励在各工作节点数据非同分布(non-IID)且工作节点可能部分参与的联邦学习。
• 分析在非 IID 设置下，带有两端学习率的 FedAvg 的收敛行为。
• 判断在部分参与下，是否可以实现相对于工作节点数量的线性加速。
• 量化局部更新步数 K 如何影响收敛性和通信效率。

提出的方法

• 研究一种广义的 FedAvg，其中每个参与的工作节点执行 K 个本地 SGD 步骤，使用本地学习率，服务器使用一个独立的全局学习率来更新模型。
• 假设梯度是 Lipschitz 连续的、局部梯度估计器无偏，并且局部/全局方差有界，以建模数据异质性。
• 推导在非凸设定下，全参与和部分参与情形下的收敛界。
• 表明恰当的两端学习率在全参与时获得 O(1/√(mKT) + 1/T) 的收敛速率，在部分参与时获得 O(√K/√(nT) + 1/T)。
• 证明在实现线性加速时，最大局部步数可达到 K ≤ T/m，并且在参数选择恰当时，局部步数有利。
• 用 MNIST 和 CIFAR-10 上的多种模型实验验证理论结果。

实验结果

研究问题

• RQ1 在每轮只有一部分工作者参与时，非 IID 数据下的联邦学习是否能实现线性加速？
• RQ2 两端学习率（不同的本地和服务器学习率）如何在非 IID 数据和部分参与下影响收敛性？
• RQ3 在非 IID 的联邦学习中，局部更新次数 K、总轮数 T 与达到的收敛速率之间的关系是什么？
• RQ4 局部更新步数在非 IID 数据下是有利还是有害，并且在什么条件下 K 达到 T/m 有益？

主要发现

• 对于非凸问题且数据非 IID 的情形，带有两端学习率的 FedAvg 在全参与时达到收敛率 O(1/√(mKT) + 1/T)，在部分参与时达到 O(√K/√(nT) + 1/T)，这对大 T 意味着线性加速。
• 最大可允许的局部更新可以增至 K ≤ T/m，以维持线性加速，从而通过减少轮次提升通信效率。
• 在不需要有界梯度假设的前提下，分析表明两端学习率方法控制了方差项并实现了理想的收敛行为。
• 局部更新（更大的 K）在适当的学习率调度下可以促进收敛，与一些早期工作认为在非 IID 的联邦学习中局部步数会降低性能的结论相反。
• 在 MNIST 和 CIFAR-10 上的实验验证了理论速率，并展示了非 IID 性、参与工作者数量和局部步数对收敛和准确性的影响。