[论文解读] Differentiable Pruning Method for Neural Networks.

Jaedeok Kim, Chiyoun Park+2 more|arXiv (Cornell University)|Apr 24, 2019

Advanced Neural Network Applications参考文献 15被引用 5

一句话总结

该论文提出了一种基于可训练门函数的可微剪枝方法，用于神经网络的通道剪枝，通过梯度优化实现对FLOPs和参数量等离散稀疏度度量的端到端优化。通过在通道输出处添加可学习门函数，并使用标准反向传播进行微调，该方法可自动识别最优通道子集，在CIFAR-10数据集上对ResNet-56实现50%的FLOPs减少，且准确率无下降。

ABSTRACT

Architecture optimization is a promising technique to find an efficient neural network to meet certain requirements, which is usually a problem of selections. This paper introduces a concept of a trainable gate function and proposes a channel pruning method which finds automatically the optimal combination of channels using a simple gradient descent training procedure. The trainable gate function, which confers a differentiable property to discrete-valued variables, allows us to directly optimize loss functions that include discrete values such as the number of parameters or FLOPs that are generally non-differentiable. Channel pruning can be applied simply by appending trainable gate functions to each intermediate output tensor followed by fine-tuning the overall model, using any gradient-based training methods. Our experiments show that the proposed method can achieve better compression results on various models. For instance, our proposed method compresses ResNet-56 on CIFAR-10 dataset by half in terms of the number of FLOPs without accuracy drop.

研究动机与目标

• 为解决神经网络中通道数等离散架构选择的优化挑战，这些选择通常不可微，难以通过梯度下降优化。
• 实现神经网络端到端训练，利用FLOPs和参数量等离散稀疏度度量的可微近似。
• 开发一种简单、即插即用的通道剪枝方法，无需架构重构或复杂搜索过程。
• 通过通道重要性的梯度优化，实现高模型压缩率，同时保持模型准确率。

提出的方法

• 引入一种可训练门函数，为每个通道分配一个可学习的标量权重，实现对通道存在性的可微控制。
• 将门函数应用于每个中间特征图输出，使网络在训练过程中学习保留或剪枝哪些通道。
• 使用标准反向传播联合优化网络权重和门值，使梯度下降在最小化损失的同时考虑FLOPs和参数量。
• 采用离散通道选择的可微松弛，即使最终剪枝决策是离散的，也能使用连续梯度。
• 通过附加门函数对整个模型进行微调，使用标准优化方法识别最优通道组合。
• 在训练后通过将低于阈值的门设为零来应用剪枝，从而有效移除对应通道。

实验结果

研究问题

• RQ1 我们能否通过使其可微，利用基于梯度的方法优化如通道数等离散架构超参数？
• RQ2 可训练门函数在实现通道剪枝的端到端训练中，是否能有效实现最小准确率下降？
• RQ3 所提方法能否在标准基准上实现FLOPs和参数量的显著压缩，且不造成性能下降？
• RQ4 与现有剪枝技术相比，该方法在压缩率和准确率保持方面表现如何？

主要发现

• 该方法在CIFAR-10数据集上的ResNet-56中实现了FLOPs 50%的减少，且准确率无下降。
• 该方法通过标准优化流程的端到端训练，实现了自动且高效的通道剪枝。
• 可训练门函数的使用使得对FLOPs和参数量等不可微度量的可微优化成为可能。
• 该方法简单且具有通用性，仅需在中间层添加门函数并进行标准微调。
• 与基线剪枝技术相比，该方法在压缩效率方面表现更优，同时保持了模型准确率。
• 训练后的门函数能有效识别并抑制冗余通道，从而生成紧凑且准确的模型。