[论文解读] Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning

Haozhao Wang, Zhihao Qu+4 more|arXiv (Cornell University)|Jan 22, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用 4

一句话总结

本文提出了一种名为局部补偿的拉取缩减（PRLC）的通信高效联邦学习方法，其中工作者间歇性地拉取全局模型，并利用本地更新来补偿同步间隙。与最先进的方法（如 LAG）相比，PRLC 将拉取操作减少了高达 50%，同时保持了与非缩减方法相当的收敛速度。

ABSTRACT

Federated Learning is a powerful machine learning paradigm to cooperatively train a global model with highly distributed data. A major bottleneck on the performance of distributed Stochastic Gradient Descent (SGD) algorithm for large-scale Federated Learning is the communication overhead on pushing local gradients and pulling global model. In this paper, to reduce the communication complexity of Federated Learning, a novel approach named Pulling Reduction with Local Compensation (PRLC) is proposed. Specifically, each training node intermittently pulls the global model from the server in SGD iterations, resulting in that it is sometimes unsynchronized with the server. In such a case, it will use its local update to compensate the gap between the local model and the global model. Our rigorous theoretical analysis of PRLC achieves two important findings. First, we prove that the convergence rate of PRLC preserves the same order as the classical synchronous SGD for both strongly-convex and non-convex cases with good scalability due to the linear speedup with respect to the number of training nodes. Second, we show that PRLC admits lower pulling frequency than the existing pulling reduction method without local compensation. We also conduct extensive experiments on various machine learning models to validate our theoretical results. Experimental results show that our approach achieves a significant pulling reduction over the state-of-the-art methods, e.g., PRLC requiring only half of the pulling operations of LAG.

研究动机与目标

• 解决因频繁拉取模型和推送梯度而导致的联邦学习中高通信开销问题。
• 在不牺牲收敛速度或模型准确率的前提下，减少拉取操作的次数。
• 在带宽受限的大规模去中心化联邦学习系统中，提升可扩展性和效率。
• 设计一种理论基础扎实的方法，在间歇性同步条件下仍能保持收敛保证。

提出的方法

• 在每次 SGD 迭代中，工作者随机决定是否从服务器拉取全局模型，从而引入间歇性同步。
• 当不拉取时，工作者使用其本地模型更新来近似全局更新，并补偿模型差距。
• 本地更新充当所有工作者平均更新的代理，从而减少对频繁服务器拉取的依赖。
• 理论分析证明，PRLC 的收敛速度在强凸和非凸设置下均与经典同步 SGD 相当。
• 拉取比率 $ r $ 控制拉取频率，实验中采用 $ r = 0.4 $ 以在通信成本与收敛性之间取得平衡。
• 该方法设计为在非独立同分布数据和低带宽边缘环境中具有鲁棒性，通过真实集群模拟得到验证。

实验结果

研究问题

• RQ1 在联邦学习中，间歇性拉取结合本地补偿能否维持与同步 SGD 相当的收敛速度？
• RQ2 与无补偿的拉取缩减相比，本地补偿如何提升性能？
• RQ3 保证收敛性和模型准确性的最低拉取频率（即拉取比率）是多少？
• RQ4 PRLC 在收敛时间和通信效率方面与 ASGD 和 LAG 相比如何？
• RQ5 PRLC 是否随训练节点数量线性扩展？其在非独立同分布数据分布下的表现如何？

主要发现

• 与 LAG 相比，PRLC 在逻辑回归和 ResNet18 模型上均实现了 50% 的拉取操作减少，达到收敛仅需一半的拉取次数。
• PRLC 的收敛速度在强凸和非凸目标下均与经典同步 SGD 处于同一数量级。
• PRLC 在可扩展性方面优于 ASGD，随着训练节点数量增加，收敛时间呈现线性加速。
• 实验表明，在低带宽边缘环境中，PRLC 比 ASGD 快约 30% 收敛，收敛时间分别为 ~100,000 秒和 ~140,000 秒。
• 本地补偿显著提升了性能：与无补偿基线方法（PR）相比，PRLC 减少了收敛损失差距，尤其在训练初期表现更优。
• PRLC 的收敛差距随学习率衰减呈二次方减小，证实了关于二阶收敛改进的理论预测。