[论文解读] Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints

Yoojin Choi, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|May 21, 2018

Advanced Neural Network Applications参考文献 35被引用 5

一句话总结

本文提出了一种用于深度卷积神经网络的通用压缩框架，通过一种新颖的正则化方案，在空间域和Winograd域中实现联合稀疏性。通过在不损失精度的情况下优化滤波器，使其在任一域中均保持稀疏，该方法在AlexNet和CT-SRCNN等模型上实现了最高47.7倍的压缩率和23.5倍的复杂度降低，从而实现单个模型在不同硬件平台上的部署而无需重新训练。

ABSTRACT

We consider the optimization of deep convolutional neural networks (CNNs) such that they provide good performance while having reduced complexity if deployed on either conventional systems utilizing spatial-domain convolution or lower complexity systems designed for Winograd convolution. Furthermore, we explore the universal quantization and compression of these networks. In particular, the proposed framework produces one compressed model whose convolutional filters can be made sparse either in the spatial domain or in the Winograd domain. Hence, one compressed model can be deployed universally on any platform, without need for re-training on the deployed platform, and the sparsity of its convolutional filters can be exploited for further complexity reduction in either domain. To get a better compression ratio, the sparse model is compressed in the spatial domain which has a less number of parameters. From our experiments, we obtain $24.2 imes$, $47.7 imes$ and $35.4 imes$ compressed models for ResNet-18, AlexNet and CT-SRCNN, while their computational cost is also reduced by $4.5 imes$, $5.1 imes$ and $23.5 imes$, respectively.

研究动机与目标

• 为解决缺乏同时支持空间域和Winograd域稀疏推理的通用CNN压缩框架的问题。
• 消除在使用不同卷积计算方法的平台上部署压缩模型时对重新训练或微调的需求。
• 开发一个单一的压缩模型，使其在空间域和Winograd域中均保持稀疏性和性能。
• 实现在资源受限设备（如智能手机）上对预训练模型的硬件无关部署。
• 在保持模型精度的同时，实现高倍数的压缩率和计算复杂度降低。

提出的方法

• 引入一种联合稀疏性正则化方法，在训练过程中同时促进空间域和Winograd域的稀疏性。
• 通过变换 $ W_{\text{win}} = G w G^T $ 对滤波器权重应用Winograd域正则化，其中 $ G $ 为Winograd变换矩阵。
• 使用空间域正则化器，以在原始滤波器空间中鼓励稀疏性。
• 采用通用量化和源编码技术进一步压缩稀疏模型，确保两种域中的稀疏性得以保持。
• 利用Kronecker积和向量化技术推导联合稀疏性正则化的梯度，支持端到端反向传播。
• 使用随机梯度下降优化模型，通过次梯度近似方法在不连续点处仍可进行梯度更新。

实验结果

研究问题

• RQ1 是否可以构建一个单一的压缩CNN模型，使其在空间域和Winograd域中均保持稀疏性，且不造成精度下降？
• RQ2 是否可能在不同推理平台中实现高倍数压缩率的同时保持低计算复杂度？
• RQ3 通用量化和源编码是否能在压缩后仍保持两种域中的联合稀疏性？
• RQ4 与传统的单域剪枝方法相比，联合稀疏性正则化在压缩率和精度方面表现如何？
• RQ5 所提出的框架是否可扩展至其他稀疏卷积方法，如频域卷积？

主要发现

• 所提方法在ResNet-18上实现了24.2倍的压缩率，并将乘加（MAC）操作减少4.5倍，精度损失控制在1%以内。
• 对于AlexNet，该框架实现了47.7倍的压缩率和5.1倍的计算复杂度降低，精度损失极小。
• 9层的CT-SRCNN模型被压缩了35.4倍，使用稀疏Winograd卷积后，MAC操作减少了23.5倍。
• 在Set14数据集上，模型的PSNR值与预训练模型相差不超过0.4 dB，SSIM值高于0.822。
• 通用量化和源编码技术在两种域中均保持了稀疏性，使得同一模型可部署于任意平台而无需重新训练。
• 联合稀疏性正则化有效实现了双域剪枝，其梯度通过Kronecker积恒等式计算，支持反向传播。