[论文解读] Accelerating Deep Learning with Shrinkage and Recall

Shuai Zheng, Abhinav Vishnu+1 more|arXiv (Cornell University)|May 4, 2016

Neural Networks and Applications参考文献 27被引用 5

一句话总结

本文提出sDLr，一种新颖的框架，通过结合特征压缩与召回机制，在训练过程中跳过不必要的计算，从而加速深度学习。通过早期识别并排除低影响样本与特征，sDLr在DNN、DBN和CNN模型上实现了超过2倍的加速，同时在多种数据集上保持或甚至提升了分类准确率。

ABSTRACT

Deep Learning is a very powerful machine learning model. Deep Learning trains a large number of parameters for multiple layers and is very slow when data is in large scale and the architecture size is large. Inspired from the shrinking technique used in accelerating computation of Support Vector Machines (SVM) algorithm and screening technique used in LASSO, we propose a shrinking Deep Learning with recall (sDLr) approach to speed up deep learning computation. We experiment shrinking Deep Learning with recall (sDLr) using Deep Neural Network (DNN), Deep Belief Network (DBN) and Convolution Neural Network (CNN) on 4 data sets. Results show that the speedup using shrinking Deep Learning with recall (sDLr) can reach more than 2.0 while still giving competitive classification performance.

研究动机与目标

• 解决DNN、DBN和CNN等大规模深度学习模型训练的高计算成本问题。
• 在不牺牲分类性能的前提下减少训练时间，特别是在大规模数据和深层网络设置下。
• 在不同深度学习模型和数据类型（包括计算机视觉与科学数据）之间实现通用化加速。
• 提出一种与模型无关、可扩展的方法，将压缩与召回机制集成到标准反向传播中。

提出的方法

• 提出一种受SVM启发的压缩机制，用于识别并排除对梯度更新影响最小的训练样本。
• 引入一种召回策略，在后续迭代中重新评估并重新引入先前被排除的样本，以维持模型准确率。
• 通过在反向传播过程中识别并移除低影响特征，实现特征级别的压缩，以减轻计算负载。
• 采用基于训练数据比例（例如总样本的20%）的动态阈值机制，确定应排除的样本。
• 在DNN、DBN和CNN架构中将压缩与召回机制无缝集成到标准反向传播中，无需修改核心学习算法。
• 采用基于批次的处理策略，按小批量对样本进行排除评估，支持高效并行化。

实验结果

研究问题

• RQ1 压缩与召回机制是否能在不降低分类准确率的前提下显著减少深度学习模型的训练时间？
• RQ2 sDLr框架在不同深度学习架构（DNN、DBN、CNN）和数据集（MNIST、CIFAR-10、Higgs玻色子、替代剪接）上的表现如何？
• RQ3 在应用sDLr时，加速与分类性能提升之间的权衡关系如何？
• RQ4 所提出的方法是否可在不同数据规模、网络深度和训练设置下实现泛化？

主要发现

• 在MNIST数据集上，sDLr将训练时间从5571秒缩短至3565秒，实现1.56倍加速，且top-1分类误差降低0.19%。
• 在CIFAR-10数据集上，sDLr对7-20-20-2网络实现1.62倍加速，对7-50-2网络实现2.89倍加速，误差分别降低5.19%和2.84%。
• 在Higgs玻色子数据集上，sDLr对1389-100-3网络实现1.60倍加速，对1389-50-3网络也实现1.60倍加速，后者误差降低10.4%。
• 在替代剪接数据集上，sDLr实现1.60倍加速，同时降低平均平方误差，表明回归性能得到提升。
• 在多个配置下，该方法实现了超过2倍的加速，表明其在不同模型类型和数据规模下均具有一致的加速效果。
• 在某些情况下，如Higgs玻色子7-50-2网络，sDLr提升了分类准确率（误差降低2.84%），表明剪枝可增强泛化能力。