[论文解读] A Unified Approximation Framework for Deep Neural Networks.

Yuzhe Ma, Ran Chen+5 more|arXiv (Cornell University)|Jul 26, 2018

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

该论文提出了一种统一框架，通过结合结构化稀疏性和低秩近似来压缩卷积神经网络，利用ADMM最小化激活后的特征图重建误差。该方法在VGG-16上实现了超过4倍的模型压缩和最高2.2倍的推理加速，且精度损失极小。

ABSTRACT

Deep neural networks (DNNs) have achieved significant success in a variety of real world applications. However, tons of parameters in the networks restrict the efficiency of neural networks due to the large model size and the intensive computation. To address this issue, various compression and acceleration techniques have been investigated, among which low-rank filters and sparse filters are heavily studied. In this paper we propose a unified framework to compress the convolutional neural networks by combining these two strategies, while taking the nonlinear activation into consideration. The filer of a layer is approximated by the sum of a sparse component and a low-rank component, both of which are in favor of model compression. Especially, we constrain the sparse component to be structured sparse which facilitates acceleration. The performance of the network is retained by minimizing the reconstruction error of the feature maps after activation of each layer, using the alternating direction method of multipliers (ADMM). The experimental results show that our proposed approach can compress VGG-16 and AlexNet by over 4X. In addition, 2.2X and 1.1X speedup are achieved on VGG-16 and AlexNet, respectively, at a cost of less increase on error rate.

研究动机与目标

• 解决由于模型尺寸过大和计算成本过高导致的深度神经网络效率瓶颈。
• 统一卷积层的低秩与结构化稀疏近似策略，以增强模型压缩效果。
• 通过最小化激活后特征图的重建误差，保持网络在压缩过程中的性能。
• 通过支持硬件加速的结构化稀疏性，实现高效推理。
• 开发一种可扩展的端到端压缩方法，适用于VGG-16和AlexNet等标准架构。

提出的方法

• 将每一层的卷积核近似为稀疏分量与低秩分量之和，以实现双重压缩优势。
• 稀疏分量被约束为结构化稀疏，从而促进高效计算和硬件加速。
• 采用交替方向乘子法（ADMM）优化近似过程，通过最小化激活后特征图的重建误差来实现。
• 优化过程按层进行，压缩过程中保留非线性激活的影响。
• 该框架在各层上迭代应用，与标准训练和推理流程保持兼容。
• 该方法支持权重量共享和适用于现代加速器高效部署的稀疏模式。

实验结果

研究问题

• RQ1 结合低秩与结构化稀疏近似是否能在不造成显著精度损失的情况下提升模型压缩效果？
• RQ2 ADMM在深度神经网络压缩过程中最小化激活后特征图重建误差方面有多有效？
• RQ3 所提出的框架在VGG-16和AlexNet上能在多大程度上减小模型尺寸并加速推理？
• RQ4 在压缩网络中，结构化稀疏性是否比非结构化稀疏性提供更好的加速效果？
• RQ5 在所提出的统一框架中，压缩比、加速比与精度之间的权衡关系如何？

主要发现

• 所提方法在模型尺寸上将VGG-16和AlexNet均压缩了4倍以上。
• 在VGG-16上实现了2.2倍的加速，且误差率增加极小。
• 在AlexNet上实现了1.1倍的加速，证明了其在不同架构上的可扩展性。
• 结构化稀疏性的使用在保持高效率压缩的同时，实现了有效的加速。
• 通过ADMM有效最小化了激活后特征图的重建误差，从而保持了网络性能。
• 尽管进行了激进的压缩，该框架仍保持了具有竞争力的精度，显示出强大的实际可行性。