[论文解读] Decentralized Composite Optimization with Compression

Yao Li, Xiaorui Liu+3 more|arXiv (Cornell University)|Aug 10, 2021

Stochastic Gradient Optimization Techniques参考文献 69被引用 4

一句话总结

该论文提出 Prox-LEAD，一种用于随机复合优化的新型去中心化近端梯度算法，结合通信压缩技术。无论在一般随机设置还是有限和设置下，该算法均能实现线性收敛，即使在任意压缩精度下亦可显著降低通信成本，且不损失收敛速率，因此在具有非光滑正则化的分布式机器学习中表现出极高效率。

ABSTRACT

Decentralized optimization and communication compression have exhibited their great potential in accelerating distributed machine learning by mitigating the communication bottleneck in practice. While existing decentralized algorithms with communication compression mostly focus on the problems with only smooth components, we study the decentralized stochastic composite optimization problem with a potentially non-smooth component. A \underline{Prox}imal gradient \underline{L}in\underline{EA}r convergent \underline{D}ecentralized algorithm with compression, Prox-LEAD, is proposed with rigorous theoretical analyses in the general stochastic setting and the finite-sum setting. Our theorems indicate that Prox-LEAD works with arbitrary compression precision, and it tremendously reduces the communication cost almost for free. The superiorities of the proposed algorithms are demonstrated through the comparison with state-of-the-art algorithms in terms of convergence complexities and numerical experiments. Our algorithmic framework also generally enlightens the compressed communication on other primal-dual algorithms by reducing the impact of inexact iterations, which might be of independent interest.

研究动机与目标

• 填补在涉及非光滑正则化的问题中，去中心化优化与通信压缩之间存在的空白。
• 构建一个统一的算法框架，将压缩技术与去中心化环境下的近端梯度方法相结合。
• 在任意压缩精度下，实现与无压缩方法相当的线性收敛速率。
• 在随机设置和有限和设置下，均展示出优越的通信效率和收敛性能。
• 建立已知去中心化算法之间的联系，并为原始-对偶方法实现通信压缩。

提出的方法

• 提出 Prox-LEAD，一种使用任意压缩算子的去中心化近端梯度算法，支持压缩通信。
• 将方差减少技术（SAGA、LSVRG）集成到压缩的去中心化框架中，以加速收敛。
• 在连通网络拓扑上采用本地更新机制，结合压缩通信，以最小化数据传输量。
• 应用具有有界误差的一般压缩算子，以在量化或稀疏化情况下仍保持收敛性。
• 采用递减步长策略，在随机设置下实现对精确解的 O(1/k) 收敛。
• 理论分析考虑了非光滑正则化项，并在无需有界梯度假设的前提下处理异构数据分布。

实验结果

研究问题

• RQ1 通信压缩能否被有效整合到用于复合优化的去中心化近端梯度方法中？
• RQ2 所提出的算法在任意压缩精度下是否仍能保持线性收敛？
• RQ3 在通信成本和收敛速度方面，Prox-LEAD 与无压缩及当前最先进的压缩算法相比表现如何？
• RQ4 方差减少技术能否在去中心化的非光滑优化中与压缩通信成功结合？
• RQ5 当存在数据异构性和非光滑正则化时，压缩对收敛性有何影响？

主要发现

• 在使用方差减少变体（LSVRG 和 SAGA）的有限和设置下，Prox-LEAD 即使在压缩条件下也能实现对最优解的线性收敛。
• 在一般随机设置下，Prox-LEAD 收敛于最优解的邻域内，且在采用递减步长时，可实现对精确解的 O(1/k) 收敛。
• 即使在无有界梯度或数据异构性假设下，该算法仍能保持与无压缩版本相当的收敛速率。
• 实验表明，通信压缩可将通信成本降低最多达 16 倍（例如，2 位 vs. 32 位），且性能下降可忽略不计。
• Prox-LEAD（2 位）在迭代次数和梯度计算次数方面与 32 位版本的收敛速度相当，但使用的通信比特数显著更少。
• 该框架可推广至其他原始-对偶算法，并通过压缩通信减轻不精确迭代的影响。