[论文解读] Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees

Constantin Philippenko, Aymeric Dieuleveut|arXiv (Cornell University)|Jun 25, 2020

Stochastic Gradient Optimization Techniques参考文献 28被引用 8

一句话总结

本文提出了 Artemis，一种用于分布式和联邦学习的双向压缩框架，可在弱假设下同时压缩上行和下行通信，并保持紧密的收敛保证。在部分工作者参与的非独立同分布（non-i.i.d.）设置下，它实现了线性收敛，直至噪声阈值，通过记忆机制减少压缩误差，并给出了由于压缩导致的渐近方差的下界。

ABSTRACT

We introduce a framework - Artemis - to tackle the problem of learning in a distributed or federated setting with communication constraints and device partial participation. Several workers (randomly sampled) perform the optimization process using a central server to aggregate their computations. To alleviate the communication cost, Artemis allows to compress the information sent in both directions (from the workers to the server and conversely) combined with a memory mechanism. It improves on existing algorithms that only consider unidirectional compression (to the server), or use very strong assumptions on the compression operator, and often do not take into account devices partial participation. We provide fast rates of convergence (linear up to a threshold) under weak assumptions on the stochastic gradients (noise's variance bounded only at optimal point) in non-i.i.d. setting, highlight the impact of memory for unidirectional and bidirectional compression, analyze Polyak-Ruppert averaging. We use convergence in distribution to obtain a lower bound of the asymptotic variance that highlights practical limits of compression. We propose two approaches to tackle the challenging case of devices partial participation and provide experimental results to demonstrate the validity of our analysis.

研究动机与目标

• 通过同时压缩上行和下行消息，解决分布式和联邦学习中的通信瓶颈。
• 克服先前工作仅压缩上行或依赖于压缩算子强假设的局限性。
• 在非独立同分布设置下，针对部分工作者参与的情况提供收敛保证，这是现实世界中的常见挑战。
• 分析记忆机制在单向与双向压缩设置中对收敛的影响。
• 建立由于压缩导致的渐近方差的下界，揭示通信效率的实际极限。

提出的方法

• 提出 Artemis 框架，使用具有有界相对误差的压缩算子，在两个方向（从工作者到服务器的上行和从服务器到工作者的下行）应用压缩。
• 引入记忆机制以追踪并校正压缩误差，提升收敛稳定性。
• 利用依分布收敛推导出迭代值渐近方差的下界，量化压缩的根本极限。
• 分析 Polyak-Ruppert 平均化以提升收敛速度并减少最终解的方差。
• 在弱假设下进行收敛性分析：仅要求最优点处随机梯度的方差有界。
• 提出两种处理部分工作者参与的方法，确保在真实训练场景中的鲁棒性。

实验结果

研究问题

• RQ1 在非独立同分布的联邦学习设置下，结合记忆机制的双向压缩能否实现线性收敛，且在部分参与条件下？
• RQ2 压缩算子的选择（单向 vs. 双向）如何影响收敛速度和最终解的质量？
• RQ3 从渐近方差的角度看，压缩的根本极限是什么？它如何依赖于数据异质性？
• RQ4 记忆机制如何减少上行和下行通信中压缩误差的影响？
• RQ5 部分工作者参与对收敛的实际影响是什么？如何加以缓解？

主要发现

• Artemis 在弱假设下实现了线性收敛，直至噪声阈值，具体为仅在最优点处梯度方差有界。
• 迭代值的渐近方差由一个与 $(1 + ho_{\text{up}})(1 + \rho_{\text{dwn}})\frac{\rho_*^2}{b}$ 成正比的项下界限定，其中 $\rho_{\text{up}}, \rho_{\text{dwn}}$ 为压缩误差界，$b$ 为批量大小。
• 记忆机制显著降低了压缩误差的影响，尤其是在双向压缩中，通过追踪并补偿持续存在的误差。
• 若无记忆机制，由于上行链路中未校正的压缩偏差，渐近方差将增加 $(1 + \rho_{\text{up}})$ 倍。
• 该框架通过两种提出的策略有效处理了部分参与问题，实验验证了其有效性，即使每轮仅部分工作者参与，也能实现稳定收敛。
• Polyak-Ruppert 平均化通过降低最终迭代值的方差，改善了收敛性，提升了泛化性能并得出了更紧的收敛边界。