[论文解读] Learning Filter Basis for Convolutional Neural Network Compression

Yawei Li, Shuhang Gu+2 more|arXiv (Cornell University)|Aug 23, 2019

Advanced Image Processing Techniques参考文献 54被引用 7

一句话总结

本文提出了一种用于卷积神经网络（CNN）压缩的新型滤波器基学习方法，该方法沿输入通道维度将3D卷积滤波器分解为可学习的基组件，从而在保持准确率的同时实现高效的参数压缩。该方法在图像分类和超分辨率基准测试中实现了最先进（SOTA）的压缩性能，相较于以往的滤波器分解技术，在参数效率和准确率保持方面表现更优。

ABSTRACT

Convolutional neural networks (CNNs) based solutions have achieved state-of-the-art performances for many computer vision tasks, including classification and super-resolution of images. Usually the success of these methods comes with a cost of millions of parameters due to stacking deep convolutional layers. Moreover, quite a large number of filters are also used for a single convolutional layer, which exaggerates the parameter burden of current methods. Thus, in this paper, we try to reduce the number of parameters of CNNs by learning a basis of the filters in convolutional layers. For the forward pass, the learned basis is used to approximate the original filters and then used as parameters for the convolutional layers. We validate our proposed solution for multiple CNN architectures on image classification and image super-resolution benchmarks and compare favorably to the existing state-of-the-art in terms of reduction of parameters and preservation of accuracy.

研究动机与目标

• 为解决深度CNN中参数量过高的问题，特别是输出通道数较少的窄网络（narrow networks）中的问题。
• 克服现有滤波器分解方法的局限性，这些方法要么无法减少输入通道的参数，要么无法推广到1×1卷积。
• 开发一种统一的、细粒度的压缩框架，平衡分解卷积中参数的分布。
• 实现对高层（如分类）和低层（如超分辨率）视觉任务的高效且准确的压缩。

提出的方法

• 该方法沿输入通道维度将3D卷积滤波器拆分为更小的2D组件，并将每个组件视为基本单元。
• 将这些组件的集合建模为共享可学习基集的线性组合。
• 通过端到端反向传播，联合优化基和系数（线性组合）。
• 在推理阶段，通过组合基来重建原始的3D滤波器，从而在参数量减少的情况下实现高效的前向传播。
• 该方法可自然推广至1×1卷积，这类卷积在现代网络架构（如DenseNet和EDSR）中极为常见。
• 该方法与现有网络兼容，可轻松集成到最先进模型中，无需修改网络架构。

实验结果

研究问题

• RQ1 可学习的基集是否能有效表示卷积层的滤波器组件，同时减少参数量？
• RQ2 与现有滤波器分解技术相比，所提出的基学习方法在压缩比和准确率方面表现如何？
• RQ3 该方法是否能推广到输出通道数较少的窄网络以及1×1卷积？
• RQ4 该方法在图像超分辨率等低层视觉任务中是否能保持或提升性能？
• RQ5 基大小、分割数量与模型准确率之间的最优权衡是什么？

主要发现

• 在VGG-16上，该方法在仅保留原始FLOPs 23.5%的情况下，实现了6.23%的top-1错误率，优于所有基线方法在相同FLOPs减少量下的准确率表现。
• 在DenseNet-12-40上，该方法以331k参数实现最低错误率（5.32%），在准确率和压缩比方面均优于KSE和Factor方法。
• 在ResNet-56上，该方法在FLOPs减少50%的情况下实现6.08%的top-1错误率，显著优于KSE及其他方法在相同计算预算下的表现。
• 该方法将模型大小压缩至SRResNet水平，同时在图像超分辨率任务中保持高于SRResNet的准确率。
• 该方法在1×1卷积上表现出良好的泛化能力，使DenseNet和EDSR等高度依赖此类层的网络能够实现有效的压缩。
• 消融实验表明，通过在DenseBlocks和过渡层之间平衡压缩（例如使用s=6和s=12的分割），可获得比单一组件中过度压缩更优的准确率。