[论文解读] 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation

Peter Richtárik, Igor Sokolov+4 more|arXiv (Cornell University)|Feb 2, 2022

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出3PC（三重压缩器），一种用于通信高效分布式训练的新型自适应梯度压缩机制，其在优化过程中动态演化。通过实现压缩器的动态选择并引入改进的懒惰聚合理论，该方法在通信复杂度上优于当前最先进的方法（如EF21和LAG），并在固定通信量与固定成本设置下，于多个数据集上均取得实证性能提升。

ABSTRACT

We propose and study a new class of gradient communication mechanisms for communication-efficient training -- three point compressors (3PC) -- as well as efficient distributed nonconvex optimization algorithms that can take advantage of them. Unlike most established approaches, which rely on a static compressor choice (e.g., Top-$K$), our class allows the compressors to {\em evolve} throughout the training process, with the aim of improving the theoretical communication complexity and practical efficiency of the underlying methods. We show that our general approach can recover the recently proposed state-of-the-art error feedback mechanism EF21 (Richtárik et al., 2021) and its theoretical properties as a special case, but also leads to a number of new efficient methods. Notably, our approach allows us to improve upon the state of the art in the algorithmic and theoretical foundations of the {\em lazy aggregation} literature (Chen et al., 2018). As a by-product that may be of independent interest, we provide a new and fundamental link between the lazy aggregation and error feedback literature. A special feature of our work is that we do not require the compressors to be unbiased.

研究动机与目标

• 为解决分布式非凸优化中的高通信成本，特别是在大规模和联邦学习设置下。
• 克服静态压缩方法（如Top-K）的局限性，通过在训练过程中使压缩器动态演化。
• 统一并改进懒惰聚合与误差反馈机制的理论基础。
• 开发一类新型通信高效算法，具备可证明更优的收敛性与更低的通信复杂度。
• 通过实证结果表明，自适应压缩可在固定通信预算下实现更快的收敛速度。

提出的方法

• 提出3PC，一种基于三点的梯度压缩机制，可依据本地梯度动态调整压缩策略。
• 引入一种广义的算法框架，将自适应压缩与懒惰聚合相结合，支持压缩级别与更新触发条件的动态调整。
• 建立一种新的理论分析，放宽对压缩器无偏性的要求，从而提升适用范围并获得更强的收敛性保证。
• 采用结合误差反馈与懒惰聚合的混合机制，配合基于触发的更新策略，以降低通信频率。
• 在多个2的幂次尺度上采用精细化的步长选择策略，以优化通信效率。
• 采用统一框架，可恢复EF21与LAG作为特例，从而实现系统性比较与改进。

实验结果

研究问题

• RQ1 在训练过程中动态演化的自适应压缩机制是否能实现比静态方法（如Top-K）更低的通信复杂度？
• RQ2 将动态压缩与懒惰聚合相结合，如何改善理论收敛性与实际效率？
• RQ3 能否构建一个统一的理论框架，将误差反馈与懒惰聚合联系起来，从而获得更强的收敛性保证？
• RQ4 在通信高效分布式训练中，压缩程度与更新频率之间的最优权衡是什么？
• RQ5 在不同数据集与通信预算下，所提出方法是否在通信效率上优于EF21与LAG？

主要发现

• 基于3PC的所提算法CLAG在所有测试数据集（包括phishing、w6a、ijcnn1和a9a）上的通信复杂度均低于EF21与LAG。
• 最低通信成本始终出现在压缩度$K$与触发阈值$\zeta$的组合上，而该组合并未使CLAG退化为EF21或LAG，表明自适应设计的优势。
• 在每客户端固定通信成本为32 Mbits的条件下，CLAG收敛速度优于EF21与LAG，尤其在w6a、ijcnn1与a9a数据集上表现显著提升。
• 该方法在每位工作者的通信比特数上优于EF21与LAG，尤其当$K < d$时，体现出动态压缩的优势。
• 本文建立的理论框架通过放宽对压缩器无偏性的假设，为懒惰聚合提供了更强的理论基础。
• 实证结果证实，CLAG的最优配置位于EF21与LAG的参数范围之外，验证了自适应压缩器演化的有效性。