[论文解读] Linear Convergent Decentralized Optimization with Compression
该论文提出了LEAD，这是首个具有通信压缩的线性收敛去中心化优化算法，通过原始-对偶更新机制处理异构数据和压缩误差。在强凸函数下，其使用常数步长时实现线性收敛；在使用随机梯度时，线性收敛至O(σ²)邻域内，理论与实践表现均优于现有方法。
Communication compression has become a key strategy to speed up distributed optimization. However, existing decentralized algorithms with compression mainly focus on compressing DGD-type algorithms. They are unsatisfactory in terms of convergence rate, stability, and the capability to handle heterogeneous data. Motivated by primal-dual algorithms, this paper proposes the first \underline{L}in\underline{EA}r convergent \underline{D}ecentralized algorithm with compression, LEAD. Our theory describes the coupled dynamics of the inexact primal and dual update as well as compression error, and we provide the first consensus error bound in such settings without assuming bounded gradients. Experiments on convex problems validate our theoretical analysis, and empirical study on deep neural nets shows that LEAD is applicable to non-convex problems.
研究动机与目标
- 为解决在数据异构性下缺乏具有通信压缩的线性收敛去中心化算法的问题。
- 克服现有DGD型压缩算法在非独立同分布数据设置下的收敛缓慢与不稳定性问题。
- 设计一种原始-对偶框架，联合管理压缩误差与一致性动态。
- 为任意精度无偏压缩和一般网络拓扑结构提供理论收敛保证。
- 在凸问题和深度神经网络上对方法进行实证验证，展示其鲁棒性与高效性。
提出的方法
- LEAD采用原始-对偶更新机制，其中原始变量（x）和对偶变量（d）在网络中以去中心化方式更新。
- 在原始变量上引入压缩算子并结合误差补偿，以降低通信开销。
- 通过李雅普诺夫函数建模原始变量不精确性、对偶更新与压缩误差之间的耦合动态，以分析收敛性。
- 使用步长范围为(0, 2/(μ+L)]的常数步长，确保对强凸且光滑函数实现线性收敛。
- 在使用随机梯度时，其以常数步长线性收敛至最优解的O(σ²)邻域内，且在递减步长下可实现精确收敛。
- 收敛性分析推导出无需假设梯度有界的共识误差界，依赖于混合矩阵W的谱性质。
实验结果
研究问题
- RQ1在应用通信压缩时，去中心化原始-对偶算法能否实现线性收敛？
- RQ2压缩误差如何与去中心化优化中的共识和原始不精确性相互作用？
- RQ3在任意精度无偏压缩和异构数据条件下，该算法能否保持线性收敛？
- RQ4在存在压缩和不精确更新但无梯度有界假设的情况下，共识误差的理论界是什么？
- RQ5所提出的算法在非凸问题（如深度神经网络训练）中是否有效？
主要发现
- LEAD是首个在强凸且光滑目标下使用常数步长时实现线性收敛的去中心化压缩算法。
- 在使用随机梯度和常数步长时，其可证明线性收敛至最优解的O(σ²)邻域内。
- 即使在压缩条件下，通过递减步长仍可实现对最优解的精确收敛。
- 该算法在不假设梯度有界的情况下保持线性收敛，为该类设置提供了新颖的共识误差界。
- 实证结果表明，LEAD在异构数据上训练深度神经网络时显著优于基线方法，展现出更优的通信与计算效率。
- LEAD对超参数设置具有鲁棒性，且仅需极少调参，展现出强大的实际适用性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。