[论文解读] Achieving the fundamental convergence-communication tradeoff with Differentially Quantized Gradient Descent

Chung-Yi Lin, Victoria Kostina+1 more|arXiv (Cornell University)|Feb 6, 2020

Stochastic Gradient Optimization Techniques参考文献 19被引用 5

一句话总结

本文提出了一种带有误差补偿的量化方法——差分量化梯度下降（DQGD），在分布式训练中实现了通信成本与收敛速率之间的基本权衡。理论证明，随着维度增加，DQGD在光滑且强凸函数上实现了最优线性收敛速率，优于无法实现该权衡的朴素梯度量化方法。

ABSTRACT

The problem of reducing the communication cost in distributed training through gradient quantization is considered. For gradient descent on smooth and strongly convex objective functions on $\mathbb{R}^n$, we characterize the fundamental rate function-the minimum achievable linear convergence rate for a given number of bits per dimension $n$. We propose Differentially Quantized Gradient Descent, a quantization algorithm with error compensation, and prove that it achieves the rate function as $n$ goes to infinity. In contrast, the naive quantizer that compresses the current gradient directly fails to achieve that optimal tradeoff. Experimental results on both simulated and real-world least-squares problems confirm our theoretical analysis.

研究动机与目标

• 刻画分布式优化中通信成本与收敛速率之间的基本权衡。
• 确定在光滑且强凸问题中，给定每维梯度比特数时可达到的最小线性收敛速率。
• 设计一种在实际中实现该最优权衡的量化算法。
• 证明朴素量化方法无法实现最优通信-收敛权衡。

提出的方法

• 提出差分量化梯度下降（DQGD）算法，一种结合误差补偿的量化方法，以减少迭代过程中的梯度量化误差。
• 采用差分量化方案，将前一次迭代的量化误差累积并在下一次迭代中进行补偿，从而提升收敛性能。
• 分析DQGD在R^n空间中光滑且强凸目标函数下的收敛行为。
• 推导出基本速率函数，表示给定每维比特数下可达到的最小线性收敛速率。
• 证明当维度n趋于无穷时，DQGD渐近地达到该基本速率函数。

实验结果

研究问题

• RQ1 在分布式梯度下降中，通信成本与收敛速率之间的基本权衡是什么？
• RQ2 能否设计一种量化方法，使其在给定每维梯度比特数下实现最优收敛速率？
• RQ3 为何朴素梯度量化无法实现最优权衡？
• RQ4 量化中的误差补偿如何影响分布式训练中的收敛性能？

主要发现

• 当维度n趋于无穷时，DQGD实现了基本速率函数——即光滑且强凸函数下可达到的最小线性收敛速率。
• 所提方法渐近地实现了通信成本与收敛速度之间的最优权衡，优于朴素量化方法。
• 朴素量化（直接压缩当前梯度）无法实现最优通信-收敛权衡。
• 在模拟和真实世界最小二乘问题上的实验结果验证了理论分析，证实DQGD具有更优的收敛性能。