[论文解读] AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training

Chia Yu Chen, Jungwook Choi+4 more|arXiv (Cornell University)|Dec 7, 2017

Advanced Neural Network Applications被引用 74

一句话总结

AdaComp 引入自适应、局部化的残差信号梯度压缩，能够在小批量和不同层之间自我调整压缩率，在全连接层/循环神经网络上实现约 ~200x 的端到端压缩，在卷积层上约 ~40x，同时几乎不损失准确率。

ABSTRACT

Highly distributed training of Deep Neural Networks (DNNs) on future compute platforms (offering 100 of TeraOps/s of computational capacity) is expected to be severely communication constrained. To overcome this limitation, new gradient compression techniques are needed that are computationally friendly, applicable to a wide variety of layers seen in Deep Neural Networks and adaptable to variations in network architectures as well as their hyper-parameters. In this paper we introduce a novel technique - the Adaptive Residual Gradient Compression (AdaComp) scheme. AdaComp is based on localized selection of gradient residues and automatically tunes the compression rate depending on local activity. We show excellent results on a wide spectrum of state of the art Deep Learning models in multiple domains (vision, speech, language), datasets (MNIST, CIFAR10, ImageNet, BN50, Shakespeare), optimizers (SGD with momentum, Adam) and network parameters (number of learners, minibatch-size etc.). Exploiting both sparsity and quantization, we demonstrate end-to-end compression rates of ~200X for fully-connected and recurrent layers, and ~40X for convolutional layers, without any noticeable degradation in model accuracies.

研究动机与目标

• 解决数据并行分布式深度神经网络训练中的通信瓶颈。
• 开发一套普遍适用、计算友好的梯度压缩方案，适用于多样的层类型。
• 在小批量、层和超参数之间自动自适应压缩率，无需额外调参。
• 利用稀疏性和量化实现高端到端压缩，同时保持收敛性。
• 在不同数据集、架构和优化器下展示鲁棒性。

提出的方法

• 将层残差信号向量划分为固定大小的区间，并计算每个区间的最大值以识别重要梯度。
• 在每个区间内，不仅选择局部最大值，还使用基于尺度因子（经验上为 2x）应用于残差的自适应阈值，选取附近的梯度。
• 对所选梯度进行量化以提高压缩，同时发送残差以维持收敛性。
• 将 AdaComp 独立应用到每一层；各学习者交换压缩后的梯度，然后在学习者之间取平均以更新权重。
• 使用一个跨整层的缩放值（g_max 绝对值的平均值）作为量化表示（符号 + 缩放）。
• 该方法仅需要一个新的超参数（L_T）来控制区间大小，并在无需全局排序的情况下实现 O(N) 计算。

实验结果

研究问题

• RQ1 如何以对层类型（FC、卷积、递归）和网络架构具有鲁棒性的方式压缩梯度通信？
• RQ2 本地自适应、基于阈值的梯度选择方案是否能在不同数据集和优化器上保持收敛性？
• RQ3 在不降低精度的前提下，不同层类型的端到端可实现的压缩率是多少？
• RQ4 小批量大小和学习者数量如何影响 AdaComp 可达到的压缩率？
• RQ5 该方法在保持对加速器友好的前提下，是否可扩展到大规模分布式系统？

主要发现

• AdaComp 在全连接和循环层实现了约 ~200x 的端到端压缩，在卷积层实现约 ~40x。
• 在 MNIST、CIFAR10、ImageNet、BN50 和 Shakespeare 数据集上，压缩保持了 CNN、DNN 和 LSTM 的模型精度。
• 该方法在不同小批量大小和学习者数量下，使用 SGD 和 Adam 优化器时仍然保持收敛。
• 由于其自适应阈值，AdaComp 对超高压缩率具有鲁棒性，与在高压缩下发散的先前方案不同。
• 增加小批量大小会降低可实现的压缩，而更多的学习者可以在保持准确性的前提下提升 AdaComp 的压缩。