[论文解读] 8-Bit Approximations for Parallelism in Deep Learning

Tim Dettmers|arXiv (Cornell University)|Jan 1, 2016

Advanced Neural Network Applications被引用 30

一句话总结

本文提出在大规模GPU系统中对深度学习的梯度和激活值进行8位近似，以提升通信效率。通过将32位数据压缩至8位，该方法在96张GPU上实现了高达50倍的加速，通信带宽效率翻倍，且在MNIST、CIFAR10和ImageNet数据集上，无论采用模型并行还是数据并行，均未损失模型精度。

ABSTRACT

Abstract: The creation of practical deep learning data-products often requires parallelization across processors and computers to make deep learning feasible on large data sets, but bottlenecks in communication bandwidth make it difficult to attain good speedups through parallelism. Here we develop and test 8-bit approximation algorithms which make better use of the available bandwidth by compressing 32-bit gradients and nonlinear activations to 8-bit approximations. We show that these approximations do not decrease predictive performance on MNIST, CIFAR10, and ImageNet for both model and data parallelism and provide a data transfer speedup of 2x relative to 32-bit parallelism. We build a predictive model for speedups based on our experimental data, verify its validity on known speedup data, and show that we can obtain a speedup of 50x and more on a system of 96 GPUs compared to a speedup of 23x for 32-bit. We compare our data types with other methods and show that 8-bit approximations achieve state-of-the-art speedups for model parallelism. Thus 8-bit approximation is an efficient method to parallelize convolutional networks on very large systems of GPUs.

研究动机与目标

• 为解决大规模深度学习系统中因带宽受限而导致的通信瓶颈问题。
• 探究梯度和非线性激活值的8位近似是否能在提升并行效率的同时保持模型性能。
• 构建并验证基于8位近似的加速性能预测模型。
• 证明8位方法在大规模GPU集群上的加速性能优于32位并行化方法。
• 确立8位近似作为深度学习中模型并行技术的最先进方法。

提出的方法

• 将32位梯度和非线性激活值压缩为8位表示，以减少数据传输量。
• 设计近似算法，在精度降低的情况下仍能保持模型性能。
• 在多个数据集上，于模型并行和数据并行设置中实现8位近似。
• 基于MNIST、CIFAR10和ImageNet的实验数据，构建加速性能的预测模型。
• 利用已知的加速性能数据验证预测模型，确保其准确性和泛化能力。
• 将8位近似与现有方法进行对比，证明其在模型并行中具有更优的加速性能。

实验结果

研究问题

• RQ1 8位近似是否能在MNIST、CIFAR10和ImageNet等标准基准上保持预测性能？
• RQ2 8位近似在大规模GPU系统中对通信效率和加速性能的提升程度如何？
• RQ3 基于8位近似的加速性能预测模型与实际世界中的加速数据相比表现如何？
• RQ4 在96张GPU的系统中，8位近似是否能实现高于32位并行化的加速性能？
• RQ5 在模型并行的加速性能方面，8位近似与现有其他方法相比表现如何？

主要发现

• 8位近似在不损失预测性能的前提下，实现了相较于32位并行化2倍的数据传输速度提升。
• 在96张GPU的系统中，8位近似实现了50倍的加速，而32位并行化仅为23倍。
• 该方法在MNIST、CIFAR10和ImageNet上，对模型并行和数据并行均保持了精度。
• 通过已知的加速性能数据验证了加速性能预测模型，确认其可靠性。
• 8位近似在模型并行中实现了最先进的加速性能，优于现有方法。
• 该方法通过优化带宽使用，实现了对超大规模GPU系统中卷积网络的高效并行化。