[论文解读] Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks

Zhonghui You, Kun Yan+3 more|arXiv (Cornell University)|Sep 18, 2019

Advanced Neural Network Applications被引用 111

一句话总结

本论文引入 Gate Decorator 用于全局滤波器剪枝，以及 Tick-Tock 剪枝和 Group Pruning，在不改变网络结构的前提下加速 CNN，在多个数据集上实现最先进的剪枝比和精度提升。

ABSTRACT

Filter pruning is one of the most effective ways to accelerate and compress convolutional neural networks (CNNs). In this work, we propose a global filter pruning algorithm called Gate Decorator, which transforms a vanilla CNN module by multiplying its output by the channel-wise scaling factors, i.e. gate. When the scaling factor is set to zero, it is equivalent to removing the corresponding filter. We use Taylor expansion to estimate the change in the loss function caused by setting the scaling factor to zero and use the estimation for the global filter importance ranking. Then we prune the network by removing those unimportant filters. After pruning, we merge all the scaling factors into its original module, so no special operations or structures are introduced. Moreover, we propose an iterative pruning framework called Tick-Tock to improve pruning accuracy. The extensive experiments demonstrate the effectiveness of our approaches. For example, we achieve the state-of-the-art pruning ratio on ResNet-56 by reducing 70% FLOPs without noticeable loss in accuracy. For ResNet-50 on ImageNet, our pruned model with 40% FLOPs reduction outperforms the baseline model by 0.31% in top-1 accuracy. Various datasets are used, including CIFAR-10, CIFAR-100, CUB-200, ImageNet ILSVRC-12 and PASCAL VOC 2011. Code is available at github.com/youzhonghui/gate-decorator-pruning

研究动机与目标

• 动机：在资源受限的设备上实现高效部署 CNN，通过减少计算和存储需求。
• 开发一种全局滤波器重要性排序方法，该方法在剪枝后不改变网络设计。
• 提出一种迭代剪枝框架（Tick-Tock）以提升剪枝准确性。
• 通过分组剪枝处理具有捷径连接的网络中的剪枝约束。
• 证明该方法在分类和分割任务等广泛应用。

提出的方法

• 引入 Gate Decorator（GD），通过基于泰勒展开的评分 Θ(φ_i) 和门控缩放因子 φ 来估计全局滤波器的重要性。
• 将 Gate Decorator 应用于 Batch Normalization，定义带门控的 Batch Normalization（GBN），使滤波器与 BN 通道对齐。
• 使用 Tick-Tock 剪枝框架：Tick 阶段在可更新参数有限的子集数据上计算 Θ；Tock 阶段对 φ 应用稀疏约束并进行微调。
• 通过将通过纯捷径连接相连的 BN 块分组来实现分组剪枝，以管理具有捷径连接的网络的剪枝，并对它们的重要性分数求和。
• 提供一个剪枝流水线，在剪枝后可以合并缩放因子以避免额外的结构性修改。
• 将 Gate Decorator 与相关的 GFIR 方法（Slim、PCNN）进行比较，并讨论泰勒基估计、稀疏性和归一化考虑的差异。

实验结果

研究问题

• RQ1 是否可以在不重新训练整个网络的情况下，可靠地估计全局滤波器重要性排序？
• RQ2 相比于以往的 GFIR 方法，Gate Decorator 是否能够在较小的精度损失下实现更高的剪枝比？
• RQ3 Tick-Tock 迭代剪枝框架是否能在剪枝准确性上优于一次性剪枝？
• RQ4 如何在具有捷径连接的网络上进行剪枝而避免错位/对齐问题？
• RQ5 Gate Decorator 方法是否可广泛应用于除了图像分类之外的其他视觉任务？

主要发现

方法	全局	P. Top-1	[Top-1] ↓	P. Top-5	[Top-5] ↓	FLOPs ↓ %	Param ↓ %	Accuracy ↓ %
ThiNet-70	✗	72.04	0.84	90.67	0.47	36.75	33.72	-0.84
SFP	✗	74.61	1.54	92.06	0.81	41.80	-	-0.81
GBN-60	✓	76.19	-0.31	92.83	-0.16	40.54	31.83	-0.16
NISP	✓	-	0.89	-	-	44.01	43.82	-0.89
FPGM	✗	74.83	1.32	92.32	0.55	53.50	-	-0.55
ThiNet-50	✗	71.01	1.87	90.02	1.12	55.76	51.56	-1.12
DCP	✗	74.95	1.06	92.32	0.61	55.76	51.45	-0.61
GDP	✓	71.89	3.24	90.71	1.59	51.30	-	-1.59
GBN-50	✓	75.18	0.67	92.41	0.26	55.06	53.40	-0.26

• 在 CIFAR-10 上实现 ResNet-56 的最先进剪枝，70% 的 FLOPs 降低且精度损失可忽略。
• 在 ImageNet 上，剪枝后 ResNet-50 40% FLOPs 降低，top-1 精度比基线高出 0.31%。
• ImageNet 上 GBN-60 和 GBN-50 提升推理速度相较基线（例如，40% FLOPs 剪枝下，吞吐量为 1127 图像/秒，而 Titan X Pascal 为 864 图像/秒）。
• 在 PASCAL VOC 2011 的 FCN 剪枝在不损失精度的情况下实现显著的 FLOPs 和参数减少（27% FLOPs，73% 参数）。
• Tick-Tock 剪枝在相同 FLOPs 目标下持续优于 One-Shot 和 Tick-Only，具有更高的最终精度，展示了迭代剪枝和稀疏约束的好处。