[论文解读] Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients

Jun Sun, Tianyi Chen+2 more|arXiv (Cornell University)|Sep 17, 2019

Stochastic Gradient Optimization Techniques被引用 39

一句话总结

LAQ 引入基于梯度创新的量化和懒聚合，以在保持对强凸损失线性收敛的同时，减少通信位数和轮次。

ABSTRACT

The present paper develops a novel aggregated gradient approach for distributed machine learning that adaptively compresses the gradient communication. The key idea is to first quantize the computed gradients, and then skip less informative quantized gradient communications by reusing outdated gradients. Quantizing and skipping result in `lazy' worker-server communications, which justifies the term Lazily Aggregated Quantized gradient that is henceforth abbreviated as LAQ. Our LAQ can provably attain the same linear convergence rate as the gradient descent in the strongly convex case, while effecting major savings in the communication overhead both in transmitted bits as well as in communication rounds. Empirically, experiments with real data corroborate a significant communication reduction compared to existing gradient- and stochastic gradient-based algorithms.

研究动机与目标

• 在分布式学习中动机减少大量工作者导致的通信瓶颈。
• 开发一种方法，对梯度进行压缩并在不丧失收敛性保证的前提下减少上传轮次。
• 实现类似梯度下降的收敛，同时节省通信资源。
• 提供理论保证并在真实数据集上进行实证验证。

提出的方法

• 对梯度创新进行量化，而非对整个梯度，以降低上传的位数。
• 在服务器端重用过时的梯度，只上传选定工作者的梯度创新（懒聚合）。
• 定义一个选择标准，以在每次迭代中根据梯度和参数差异来决定哪些工作者上传。
• 在强凸性和量化误差下证明 LAQ 的线性收敛。
• 通过包含过去迭代和量化误差的 Lyapunov 函数来分析收敛。

实验结果

研究问题

• RQ1 梯度量化结合懒聚合是否能达到与 GD 相同的对强凸损失的线性收敛？
• RQ2 基于梯度创新的上传对通信轮次和传输比特数有何影响？
• RQ3 如何设计一个可靠的标准以决定每次迭代哪些工作者上传，同时保留收敛性？
• RQ4 当存在量化误差时，理论保证（收敛速率）是什么？
• RQ5 与 GD、QGD、LAG 相比，LAQ 在真实数据集上的实验表现如何？

主要发现

• LAQ 在 μ-强凸 f(·) 下尽管存在量化和跳过上传，仍实现到最优解的线性收敛。
• 与 GD 和 QGD 相比，LAQ 同时减少了通信轮次和总位数，同时保持精度。
• 实证结果表明，在逻辑回归和神经网络上，LAQ 的通信轮次少于 GD 和 QGD，且比 LAG 的位数更少，同时准确性相当。
• SLAQ（随机变体）进一步减少通信轮次和位数，在测试场景中优于 QSGD 和 SSGD。
• 理论分析提供基于 Lyapunov 的收敛保证以及量化误差增长的界限。