[论文解读] Exploring Fast and Communication-Efficient Algorithms in Large-scale Distributed Networks

Yue Yu, Jiaxiang Wu+1 more|arXiv (Cornell University)|Jan 25, 2019

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出LPC-SVRG与ALPC-SVRG，为大规模分布式学习设计了通信高效的算法，通过将梯度裁剪整合到量化SVRG中，以减少通信开销，同时保持收敛性。通过采用一种新颖的量化方案，结合梯度裁剪与双重采样，融合全精度与低精度梯度，该方法在线性模型与深度学习模型上实现的通信成本相比全精度SGD降低高达92.86倍，且收敛速度相近。

ABSTRACT

The communication overhead has become a significant bottleneck in data-parallel network with the increasing of model size and data samples. In this work, we propose a new algorithm LPC-SVRG with quantized gradients and its acceleration ALPC-SVRG to effectively reduce the communication complexity while maintaining the same convergence as the unquantized algorithms. Specifically, we formulate the heuristic gradient clipping technique within the quantization scheme and show that unbiased quantization methods in related works [3, 33, 38] are special cases of ours. We introduce double sampling in the accelerated algorithm ALPC-SVRG to fully combine the gradients of full-precision and low-precision, and then achieve acceleration with fewer communication overhead. Our analysis focuses on the nonsmooth composite problem, which makes our algorithms more general. The experiments on linear models and deep neural networks validate the effectiveness of algorithms.

研究动机与目标

• 为解决大规模分布式机器学习系统中的通信瓶颈问题，其中梯度传输占训练时间的主导部分。
• 设计一种集成梯度裁剪的量化方案，以减少量化误差并提升收敛性，同时保持理论保证。
• 开发一种加速算法，通过双重采样结合全精度与低精度梯度，以加快收敛速度，且不增加通信开销。
• 对所提算法在非光滑复合优化问题上的收敛性进行理论分析，涵盖凸与非凸设置。
• 在线性模型与深度神经网络上，实证验证LPC-SVRG与ALPC-SVRG的通信效率与快速收敛性。

提出的方法

• 提出一种新型量化方案，将梯度裁剪嵌入量化过程，减少量化误差，并将先前的无偏量化方法作为特例推广。
• 引入LPC-SVRG，一种使用裁剪量化梯度的方差缩减算法，仅需每梯度O(log√d)比特即可实现与全精度SVRG相同的收敛速率。
• 开发ALPC-SVRG，一种结合Katyusha动量与双重采样的加速变体，通过融合低精度与全精度梯度更新，实现更快收敛。
• 采用双重采样机制，在本地保持全精度梯度，仅传输量化版本，从而在不牺牲收敛速度的前提下最小化通信成本。
• 理论分析证明，在所提出的量化与裁剪框架下，对非光滑复合问题（包括非凸目标）具有收敛性。
• 使用误差反馈与自适应裁剪以稳定训练过程，减少量化与裁剪引入的偏差。

实验结果

研究问题

• RQ1 能否形式化地将梯度裁剪整合进量化方案中，以在保持收敛性的同时减少通信开销？
• RQ2 通过双重采样结合低精度与全精度梯度，是否能在不增加通信成本的前提下实现更快收敛？
• RQ3 所提算法是否能在每梯度仅O(log√d)比特的情况下，实现与全精度方法相同的渐近收敛速率？
• RQ4 在通信效率与训练精度方面，与现有量化与稀疏化技术相比，该方法表现如何？
• RQ5 该算法在增加工作节点数量的大规模分布式系统中是否具备良好的可扩展性？

主要发现

• 在YearPredictionMSD数据集上，LPC-SVRG与ALPC-SVRG相比全精度SGD，通信成本分别降低最多达46.16倍与92.86倍，且训练损失相近。
• 在CIFAR-10数据集上使用ResNet-20时，ALPC-SVRG相比全精度SGD将总传输比特数减少90%以上，同时达到相近的测试误差。
• 与全精度SVRG相比，这些算法收敛更快，且在训练中ALPC-SVRG所需计算与传输时间最少。
• 所提出的结合裁剪的量化方案推广了先前的无偏量化方法，减少量化误差，提升模型精度。
• 在ResNet-50上的性能建模显示，ALPC-SVRG在GPU数量增加的大规模GPU集群中，相比全精度SVRG实现了显著加速。
• 实验结果证实，ALPC-SVRG在各类线性模型与深度神经网络中均保持快速收敛与低通信成本。