[论文解读] BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression

Haoyu Zhao, Boyue Li+3 more|arXiv (Cornell University)|Jan 31, 2022

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出 BEER，一种去中心化非凸优化算法，结合梯度追踪与量化通信，实现通信压缩下的 O(1/T) 收敛速率——与无压缩方法的速率一致。该方法通过消除对梯度有界性或梯度差异性的强假设，实现了在任意数据异质性条件下的更快收敛。

ABSTRACT

Communication efficiency has been widely recognized as the bottleneck for large-scale decentralized machine learning applications in multi-agent or federated environments. To tackle the communication bottleneck, there have been many efforts to design communication-compressed algorithms for decentralized nonconvex optimization, where the clients are only allowed to communicate a small amount of quantized information (aka bits) with their neighbors over a predefined graph topology. Despite significant efforts, the state-of-the-art algorithm in the nonconvex setting still suffers from a slower rate of convergence $O((G/T)^{2/3})$ compared with their uncompressed counterpart, where $G$ measures the data heterogeneity across different clients, and $T$ is the number of communication rounds. This paper proposes BEER, which adopts communication compression with gradient tracking, and shows it converges at a faster rate of $O(1/T)$. This significantly improves over the state-of-the-art rate, by matching the rate without compression even under arbitrary data heterogeneity. Numerical experiments are also provided to corroborate our theory and confirm the practical superiority of BEER in the data heterogeneous regime.

研究动机与目标

• 通过在客户端之间实现高效、低带宽通信，解决大规模去中心化机器学习中的通信瓶颈问题。
• 克服现有通信压缩算法在非凸设置下收敛速度慢的问题，其典型收敛速率约为 O((G/T)^{2/3})。
• 消除先前方法中对有界梯度或梯度差异性等强假设的依赖，从而提升方法的适用性。
• 即使在客户端间存在任意数据异质性的情况下，仍能实现与无压缩基线方法相当的收敛速率。
• 在 Polyak-Łojasiewicz (PL) 条件下建立线性收敛性，扩展算法的理论保证。

提出的方法

• 提出一种新型算法 BEER，将梯度追踪与通信压缩结合于去中心化网络中。
• 使用李雅普诺夫函数分析收敛性，其中包含模型误差、梯度追踪误差和方差项。
• 在传输前对梯度应用压缩算子，以降低通信成本，同时保持收敛性。
• 通过线性系统分析，验证在所选李雅普诺夫函数下存在正的常数以确保收敛。
• 通过求解确保李雅普诺夫函数在每次迭代中递减的矩阵不等式系统，推导收敛边界。
• 通过调节步长和压缩参数等算法参数，在非凸和 PL 条件下分别建立 O(1/T) 和线性收敛速率。

实验结果

研究问题

• RQ1 在去中心化非凸优化中，通信压缩能否实现与无压缩方法相同的 O(1/T) 收敛速率？
• RQ2 所提出的算法 BEER 是否消除了对有界梯度或梯度差异性等强假设的需求？
• RQ3 在非凸设置下，结合压缩的梯度追踪能否实现比现有压缩去中心化算法更快的收敛速度？
• RQ4 在 Polyak-Łojasiewicz (PL) 条件下，BEER 的收敛行为如何？
• RQ5 在实际数据异质性环境下，BEER 相较于现有方法表现如何？

主要发现

• BEER 在非凸设置下实现了 O(1/T) 的收敛速率，显著优于先前通信压缩去中心化优化的最先进速率 O((G/T)^{2/3})。
• 即使在任意数据异质性条件下，BEER 的收敛速率仍与无压缩方法保持一致，其中 G 表示客户端间的数据差异性度量。
• 在 Polyak-Łojasiewicz (PL) 条件下，BEER 实现线性收敛，表明其在无需强凸性假设下仍具有快速的局部收敛性能。
• 理论分析证实，BEER 消除了先前工作中存在的有界梯度或有界差异性假设的需求。
• 在真实世界数据集上的数值实验验证了 BEER 的实际优越性及其在数据异质性环境下的竞争力表现。
• 该算法对压缩具有鲁棒性，理论保证在具有有界方差的一般压缩算子下依然成立。