[论文解读] Compressing complex convolutional neural network based on an improved deep compression algorithm

Jiasong Wu, Hongshan Ren+4 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Neural Network Applications参考文献 22被引用 5

一句话总结

本文提出了一种针对复值卷积神经网络（Complex CNNs）的改进深度压缩算法，将传统压缩技术从实数域扩展至复数域。在不微调的情况下，该方法在ImageNet上实现了高达16倍的模型压缩，准确率仅下降约2%；在CIFAR-10上实现了8倍压缩，准确率损失低于3%，证明了压缩Complex CNNs的可行性与有效性。

ABSTRACT

Although convolutional neural network (CNN) has made great progress, large redundant parameters restrict its deployment on embedded devices, especially mobile devices. The recent compression works are focused on real-value convolutional neural network (Real CNN), however, to our knowledge, there is no attempt for the compression of complex-value convolutional neural network (Complex CNN). Compared with the real-valued network, the complex-value neural network is easier to optimize, generalize, and has better learning potential. This paper extends the commonly used deep compression algorithm from real domain to complex domain and proposes an improved deep compression algorithm for the compression of Complex CNN. The proposed algorithm compresses the network about 8 times on CIFAR-10 dataset with less than 3% accuracy loss. On the ImageNet dataset, our method compresses the model about 16 times and the accuracy loss is about 2% without retraining.

研究动机与目标

• 为解决尽管复值卷积神经网络（Complex CNNs）具备更优的优化与泛化性能，但其缺乏有效压缩技术的问题。
• 将广泛使用的深度压缩框架从实数域扩展至复数域。
• 通过减小模型大小和参数冗余，实现Complex CNNs在资源受限的嵌入式与移动设备上的高效部署。
• 在压缩过程中保持高模型准确率，最小化或消除微调或重训练的需求。

提出的方法

• 通过适配复数权重的幅度与相位分量，将三阶段深度压缩流程（剪枝、训练量化、熵编码）扩展至复数域。
• 应用结构化剪枝，基于幅度阈值移除不重要的复值滤波器，同时保持网络结构。
• 实施一种联合压缩复数权重实部与虚部的量化策略，采用共享量化方案。
• 对量化后的复数权重应用熵编码，以进一步减小模型大小，利用统计冗余。
• 采用新颖的初始化与训练策略，在压缩过程中维持性能，最小化准确率下降。
• 在保持网络容量与泛化能力的前提下，适配标准压缩流程以处理复数张量。

实验结果

研究问题

• RQ1 深度压缩框架能否有效从实数域扩展至复数域的神经网络？
• RQ2 在相似压缩比下，Complex CNNs的压缩性能与实数域网络相比如何？
• RQ3 Complex CNNs在不造成显著准确率损失的情况下，尤其是无需重训练时，可压缩到何种程度？
• RQ4 为在复数域中保持性能，剪枝、量化与熵编码需进行哪些修改？

主要发现

• 所提方法在CIFAR-10数据集上实现了约8倍压缩，准确率损失低于3%，且无需重训练。
• 在ImageNet数据集上，模型压缩约16倍，准确率仅下降约2%，且无需重训练。
• 由于复数权重固有的结构优势，该方法在应用于Complex CNNs时，压缩效率显著高于现有实数域压缩方法。
• 即使在压缩后，该方法仍能保持Complex CNNs的高泛化与优化潜力，证实其鲁棒性。
• 将深度压缩扩展至复数域是可行且有效的，可实现Complex CNNs在移动与嵌入式平台上的部署。