[论文解读] Faster Neural Network Training with Approximate Tensor Operations

Menachem Adelman, Kfir Y. Levy+2 more|arXiv (Cornell University)|May 21, 2018

Advanced Neural Network Applications参考文献 57被引用 9

一句话总结

本文提出了一种新颖的方法，通过在张量运算（如矩阵乘法和卷积）中应用基于样本的近似，加速深度神经网络的训练。通过使用高效的采样技术（如 Top-k-CRS 和 Bernoulli-CRS），该方法将计算量和通信量最多减少66%，并在 MNIST、CIFAR-10 和 ImageNet 基准测试中实现最多1.37倍的训练加速，同时精度损失极小。

ABSTRACT

We propose a novel technique for faster deep neural network training which systematically applies sample-based approximation to the constituent tensor operations, i.e., matrix multiplications and convolutions. We introduce new sampling techniques, study their theoretical properties, and prove that they provide the same convergence guarantees when applied to SGD training. We apply approximate tensor operations to single and multi-node training of MLP and CNN networks on MNIST, CIFAR-10 and ImageNet datasets. We demonstrate up to 66% reduction in the amount of computations and communication, and up to 1.37x faster training time while maintaining negligible or no impact on the final test accuracy.

研究动机与目标

• 解决在不牺牲模型精度的前提下加快深度神经网络训练的需求。
• 系统性地研究基于采样的近似方法在单节点与多节点训练中张量运算的应用。
• 在分布式环境中实现训练时间和通信带宽的实际性能提升。
• 确保在使用近似运算时，随机梯度下降（SGD）具备理论收敛保证。
• 开发与现有深度学习框架兼容的采样技术，并支持 AllReduce 等标准通信原语。

提出的方法

• 对前向和反向传播中的矩阵乘法应用列-行采样（CRS）及其变体——Bernoulli-CRS 和 Top-k-CRS，以实现近似。
• 使用 Top-k-CRS 确定性地选择范数最高的列-行对，在成对独立性假设下最小化均方误差。
• 通过近似误差分析，推导出最优采样策略，将采样方法推广至多通道卷积。
• 在 PyTorch 中以最小代码修改量集成近似运算，同时保持网络架构和张量维度不变。
• 设计一种梯度通信方案，利用稀疏采样减少数据并行分布式训练中的带宽消耗。
• 通过仅传输采样后的梯度分量，保持与标准 AllReduce 的兼容性。

实验结果

研究问题

• RQ1 是否可以在不造成显著精度下降的情况下，通过近似张量运算有效训练深度神经网络？
• RQ2 当应用于近似矩阵乘法和卷积时，SGD 的理论收敛特性如何？
• RQ3 不同的采样策略（如 Bernoulli-CRS 与 Top-k-CRS）对训练稳定性和最终模型精度有何影响？
• RQ4 在保持收敛性的前提下，近似能在多大程度上减少分布式训练中的计算量和通信量？
• RQ5 所提出的方法能否无缝集成到现有深度学习框架和训练流水线中？

主要发现

• Top-k-CRS 算法在所有评估数据集中均取得了最佳测试精度，优于 Bernoulli-CRS 和其他采样策略。
• 在 CIFAR-10 上使用 WRN-28-10 模型，前向传播中90%的采样率可将测试精度保持在基线的1%以内，同时实现1.33倍的训练加速。
• 在 ImageNet 上的 ResNet-50 模型中，对具有1024个及以上通道的层（占总FLOPs的93%）进行50%采样，可达到与全精度基线相同的 top-1 精度。
• 在 ResNet-152 模型中，对具有1024个及以上通道的层（占总FLOPs的91%）进行50%采样，可将 top-1 精度保持在基线的0.5%以内。
• 在多节点分布式训练中，该方法显著降低了通信带宽，并通过使用采样梯度的 AllReduce 实现了最高1.37倍的加速。
• 理论分析表明，在权重有界且激活函数有界的条件下，所提出的近似方法可保持 SGD 的收敛性保证。