[论文解读] Compressing Convolutional Neural Networks

Wenlin Chen, James T. Wilson+3 more|arXiv (Cornell University)|Jun 14, 2015

Neural Networks and Applications参考文献 29被引用 32

一句话总结

本文提出FreshNets，一种通过利用学习到的卷积核在频域中的平滑性来压缩卷积神经网络的新方法。通过将卷积核权重进行离散余弦变换（DCT），并采用频率敏感的哈希机制——即为低频分量分配比高频分量更多的哈希桶——该方法实现了卓越的压缩效率，在极高压缩率下以极小的精度损失显著减小模型大小，其性能在高倍率压缩下显著优于基线方法。

ABSTRACT

Convolutional neural networks (CNN) are increasingly used in many areas of computer vision. They are particularly attractive because of their ability to "absorb" great quantities of labeled data through millions of parameters. However, as model sizes increase, so do the storage and memory requirements of the classifiers. We present a novel network architecture, Frequency-Sensitive Hashed Nets (FreshNets), which exploits inherent redundancy in both convolutional layers and fully-connected layers of a deep learning model, leading to dramatic savings in memory and storage consumption. Based on the key observation that the weights of learned convolutional filters are typically smooth and low-frequency, we first convert filter weights to the frequency domain with a discrete cosine transform (DCT) and use a low-cost hash function to randomly group frequency parameters into hash buckets. All parameters assigned the same hash bucket share a single value learned with standard back-propagation. To further reduce model size we allocate fewer hash buckets to high-frequency components, which are generally less important. We evaluate FreshNets on eight data sets, and show that it leads to drastically better compressed performance than several relevant baselines.

研究动机与目标

• 为移动和嵌入式系统中深度CNN日益增长的内存与存储需求提供解决方案。
• 利用学习到的卷积核固有的平滑性与低频主导特性，实现高效压缩。
• 开发一种无需超参数、可训练的压缩方法，在极端压缩条件下仍能保持高测试精度。
• 超越现有的压缩技术，如低秩分解、权重量化和空间域哈希。

提出的方法

• 使用离散余弦变换（DCT）将卷积核权重转换到频域。
• 应用随机哈希函数将频域系数分组到共享桶中，共享值通过标准反向传播进行学习。
• 基于高频分量重要性较低的事实，为其分配更少的哈希桶，从而实现频率敏感的压缩。
• 在推理阶段通过逆DCT和哈希后的频域系数重构滤波器。
• 使用贝塔分布对每个频带的压缩率进行参数化，实现哈希桶的自适应分配。
• 将权重共享限制在相似的频带分量之间，以保留滤波器的结构特性。

实验结果

研究问题

• RQ1 频域变换与哈希是否能显著减小CNN模型大小，同时保持精度？
• RQ2 与均匀或空间域哈希相比，采用更多哈希桶分配给低频分量的频率敏感哈希机制是否能提升压缩后模型的性能？
• RQ3 与现有压缩基线（如低秩分解、量化和特征哈希）相比，该方法在精度和压缩率方面表现如何？
• RQ4 该方法在压缩过程中在多大程度上保留了学习到的滤波器的平滑性与结构特性？

主要发现

• FreshNets在所有基线方法中表现最优，尤其在高倍率压缩下（如1/64和1/256），在八个数据集上均实现了最低的泛化误差。
• 采用高频分量分配更少哈希桶的频率敏感哈希方案（图4中的蓝线）取得了最佳测试误差，优于均匀分配（红线）和反向分配（紫线）方案。
• 滤波器可视化显示，FreshNets保留了学习到的滤波器的平滑性，而HashedNets由于在空间域进行权重共享，导致产生混乱且非平滑的模式。
• 即使在极端压缩率下，该方法仍能保持高精度，其归一化测试误差在多个压缩级别下比无频率感知的方案低1.2至1.5倍。
• 其核心优势在于：保留了对图像表征至关重要的低频分量，同时在重要性较低的高频区域实现更高压缩。