[论文解读] Learning to Prune Filters in Convolutional Neural Networks

Qiangui Huang, Kevin Zhou+2 more|arXiv (Cornell University)|Jan 23, 2018

Advanced Neural Network Applications参考文献 27被引用 28

一句话总结

本文提出一种数据驱动的、基于强化学习的方法，采用“试错”框架自动剪枝卷积神经网络（CNN）中的冗余卷积核。通过使用新颖的奖励函数（平衡剪枝率与性能保留）训练剪枝智能体，利用策略梯度方法，该方法实现了显著的模型压缩与加速——最高可实现68.7%的卷积核移除和53%的推理速度提升，同时在语义分割任务中保持或甚至提升准确率。

ABSTRACT

Many state-of-the-art computer vision algorithms use large scale convolutional neural networks (CNNs) as basic building blocks. These CNNs are known for their huge number of parameters, high redundancy in weights, and tremendous computing resource consumptions. This paper presents a learning algorithm to simplify and speed up these CNNs. Specifically, we introduce a "try-and-learn" algorithm to train pruning agents that remove unnecessary CNN filters in a data-driven way. With the help of a novel reward function, our agents removes a significant number of filters in CNNs while maintaining performance at a desired level. Moreover, this method provides an easy control of the tradeoff between network performance and its scale. Per- formance of our algorithm is validated with comprehensive pruning experiments on several popular CNNs for visual recognition and semantic segmentation tasks.

研究动机与目标

• 开发一种无需人工调参的自动、数据驱动的CNN冗余卷积核剪枝方法。
• 在剪枝过程中实现对模型性能与模型大小之间权衡的直接控制。
• 克服传统手工设计准则（如L1范数剪枝）缺乏自适应性与性能优化能力的局限。
• 在不牺牲准确率的前提下，显著减少推理时间与模型大小，尤其适用于过参数化的网络。
• 提供一种可扩展的端到端解决方案，完全消除人工干预以确定最优剪枝比例。

提出的方法

• 将卷积核剪枝建模为强化学习问题，其中剪枝智能体学习决定删除哪些卷积核。
• 使用神经网络作为剪枝智能体，输入为卷积核权重，输出为二元决策（保留/删除）。
• 采用新颖的不可微奖励函数，结合剪枝率与性能约束（如准确率下降 ≤ b）。
• 使用策略梯度方法（如REINFORCE）训练剪枝智能体，以最大化期望累积奖励。
• 以逐层方式应用该方法，通过验证指标监控性能，实现渐进式剪枝。
• 集成奖励函数，以鼓励激进剪枝，同时确保剪枝后模型性能保持在用户定义的容差范围内。

实验结果

研究问题

• RQ1 基于数据驱动与学习的方法是否能超越L1范数等手工设计准则，在CNN卷积核剪枝中表现更优？
• RQ2 强化学习智能体是否能无需人工干预，自动发现最优卷积核剪枝策略？
• RQ3 该方法能否有效控制模型压缩与性能退化之间的权衡？
• RQ4 在激进剪枝后，该方法是否能保持或提升准确率，尤其是在过参数化的网络中？
• RQ5 该方法在不同架构（如FCN-32s、SegNet）和任务（如语义分割）中，面对不同数据集规模时，是否具备良好的可扩展性？

主要发现

• 在Pascal VOC数据集上的FCN-32s中，该方法实现了63.7%的卷积核移除率，使模型大小减少，并在GPU上实现37.0%的推理加速，在CPU上实现49.1%的加速。
• 在CamVid数据集上的SegNet中，该方法移除了56.9%的参数，并将全局准确率提升了2.1%，而基于幅度的剪枝使准确率下降了3.0%。
• SegNet的前半部分仅剪除了26.9%的卷积核，而后半部分剪除了49.2%，表明存在非对称冗余性，且方法具备自适应剪枝能力。
• 在相同剪枝率下，该方法优于基于幅度的剪枝（L1范数），准确率下降仅为1.5%（对比3.4%）。
• 奖励函数成功在用户定义的性能下降边界内（如b=2）维持了性能，同时实现了激进剪枝。
• 可视化结果证实，剪枝后的模型保持了语义分割质量，预测一致性仅出现轻微退化。