[论文解读] DMCP: Differentiable Markov Channel Pruning for Neural Networks

Shaopeng Guo, Yujie Wang+2 more|arXiv (Cornell University)|May 7, 2020

Advanced Neural Network Applications参考文献 22被引用 15

一句话总结

DMCP 提出了一种可微分的马尔可夫通道剪枝方法，将通道剪枝建模为马尔可夫过程，支持在 FLOPs 正则化下的端到端梯度优化。该方法在各种 FLOPs 约束下，于 ResNet 和 MobileNetV2 上均实现了 ImageNet 上的最先进精度，显著优于 AMC、MetaPruning 和 AutoSlim 等方法，且性能提升稳定。

ABSTRACT

Recent works imply that the channel pruning can be regarded as searching optimal sub-structure from unpruned networks. However, existing works based on this observation require training and evaluating a large number of structures, which limits their application. In this paper, we propose a novel differentiable method for channel pruning, named Differentiable Markov Channel Pruning (DMCP), to efficiently search the optimal sub-structure. Our method is differentiable and can be directly optimized by gradient descent with respect to standard task loss and budget regularization (e.g. FLOPs constraint). In DMCP, we model the channel pruning as a Markov process, in which each state represents for retaining the corresponding channel during pruning, and transitions between states denote the pruning process. In the end, our method is able to implicitly select the proper number of channels in each layer by the Markov process with optimized transitions. To validate the effectiveness of our method, we perform extensive experiments on Imagenet with ResNet and MobilenetV2. Results show our method can achieve consistent improvement than state-of-the-art pruning methods in various FLOPs settings. The code is available at https://github.com/zx55/dmcp

研究动机与目标

• 解决现有通道剪枝方法在需要训练和评估大量子结构时的可扩展性限制。
• 实现对剪枝神经网络中最优子结构的高效、可微分搜索。
• 将通道剪枝建模为具有可学习转移概率的马尔可夫过程，以支持端到端优化。
• 通过基于梯度的优化，在严格的 FLOPs 预算下获得高精度且紧凑的模型。

提出的方法

• 通道剪枝被建模为马尔可夫过程，其中每个状态表示保留一个通道，转移表示保留下一个通道的概率。
• 通过转移概率的乘积计算通道保留的边缘概率，作为特征图的可学习缩放系数。
• 通过梯度下降法，联合优化可学习转移概率，使用标准任务损失和 FLOPs 正则化。
• 优化完成后，通过从学习到的马尔可夫过程中进行期望采样获得最终剪枝模型，并从头开始微调。
• 该方法支持具有通道数量之间逻辑依赖关系的可微分架构搜索，与 DARTS 中独立的操作选择不同。
• 该方法实现了无需对多个子结构进行迭代训练的高效、可扩展剪枝。

实验结果

研究问题

• RQ1 通道剪枝能否被有效建模为可微分的马尔可夫过程，以支持端到端优化？
• RQ2 在可微分剪枝框架中，如何保留通道数量之间的逻辑依赖关系（例如，k+1 个通道需要 k 个通道）？
• RQ3 可微分马尔可夫过程能否在剪枝效率和精度上优于强化学习与进化方法？
• RQ4 联合优化架构与权重在剪枝模型中的性能提升程度如何？
• RQ5 在不同 FLOPs 约束下，该方法在 MobileNetV2 和 ResNet 等多样化架构上是否具备泛化能力？

主要发现

• 在 ImageNet 上，DMCP 在 211M FLOPs 下于 MobileNetV2 上实现了 72.2% 的 top-1 准确率，较基线提升 1.2%，并超越 AutoSlim、AMC 和 MetaPruning。
• 对于 ResNet-50，DMCP 将 FLOPs 降低 44%（从 4.1G 降至 2.2G），仅造成 0.4% 的精度下降，达到 76.2% 的 top-1 准确率。
• 在 59M FLOPs 下，DMCP 在 MobileNetV2 上实现了 62.7% 的 top-1 准确率，较相同 FLOPs 设置下的未剪枝基线提升 9.6%。
• 当使用可伸缩方法训练时，DMCP 在 300M FLOPs 下进一步提升至 74.6% 的 top-1 准确率，较 AutoSlim 提升 2.3%。
• 消融实验表明，联合优化架构与权重的性能优于分别训练，59M FLOPs 下达到 62.7% 的 top-1 准确率。
• 在 MobileNetV2 和 ResNet 架构的所有 FLOPs 设置下，该方法始终优于均匀剪枝、MetaPruning、AMC 和 FPGM。