[论文解读] MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning

Zechun Liu, Haoyuan Mu+5 more|arXiv (Cornell University)|Mar 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 56被引用 99

一句话总结

MetaPruning 训练 PruningNet 以预测任意被剪枝结构的权重，并使用进化搜索在约束条件下找到高性能的剪枝网络，从而实现无需微调的高效 AutoML 风格通道剪枝。它在 FLOPs/延迟约束下提高 MobileNet 与 ResNet 相对于基线的精度。

ABSTRACT

In this paper, we propose a novel meta learning approach for automatic channel pruning of very deep neural networks. We first train a PruningNet, a kind of meta network, which is able to generate weight parameters for any pruned structure given the target network. We use a simple stochastic structure sampling method for training the PruningNet. Then, we apply an evolutionary procedure to search for good-performing pruned networks. The search is highly efficient because the weights are directly generated by the trained PruningNet and we do not need any finetuning at search time. With a single PruningNet trained for the target network, we can search for various Pruned Networks under different constraints with little human participation. Compared to the state-of-the-art pruning methods, we have demonstrated superior performances on MobileNet V1/V2 and ResNet. Codes are available on https://github.com/liuzechun/MetaPruning.

研究动机与目标

• 在通道剪枝中减少手动超参数调优，通过学习一个元网络来生成不同被剪枝结构的权重。
• 通过预测被剪枝网络的权重，在不微调的情况下实现快速搜索被剪枝结构。
• 将 FLOPs 和延迟等约束纳入剪枝搜索过程。
• 通过元学习处理 ResNet 风格网络中的快捷/剪枝结构。
• 在 MobileNet 和 ResNet 上展示相对于均匀剪枝和现有 AutoML 基于剪枝方法的更高精度。

提出的方法

• 训练 PruningNet，一个元网络，给定网络编码向量（每层的通道数）生成任意被剪枝结构的权重。
• 使用随机结构采样在被剪枝架构分布中训练 PruningNet。
• 通过改变编码向量构造被剪枝网络，并在不进行微调的情况下使用 PruningNet 生成的权重评估其验证精度。
• 对被剪枝架构应用带约束的进化搜索，以识别高性能结构。
• 对于每一层，在评估前将 PruningNet 生成的权重裁剪为匹配被剪枝的输入/输出通道数。
• 在 FLOPs 和延迟约束下，比较均匀剪枝基线和最先进的通道剪枝方法。

实验结果

研究问题

• RQ1 单一训练的 PruningNet 能否为广泛的被剪枝网络结构生成权重？
• RQ2 结合 PruningNet 的进化搜索是否能在不微调的情况下找到在 FLOPs/延迟约束下的高质量被剪枝网络？
• RQ3 与均匀剪枝及现有基于 AutoML 的剪枝方法相比，MetaPruning 在 MobileNet 和 ResNet 上的表现如何？
• RQ4 MetaPruning 能否有效剪裁 ResNet 风格的 shortcut/跳跃结构中的通道？
• RQ5 PruningNet 中权重预测对剪枝性能有何影响？

主要发现

网络	FLOPs	Top1-准确度
Uniform Baseline (ResNet-50)	4.1G	76.6%
0.75× ResNet-50	2.3G	74.8%
0.5× ResNet-50	1.1G	72.0%
ThiNet-70	2.9G	75.8%
ThiNet-50	2.1G	74.7%
ThiNet-30	1.2G	72.1%
CP	2.0G	73.3%
MetaPruning - 0.85×	3.0G	76.2%
MetaPruning - 0.75×	2.0G	75.4%
MetaPruning - 0.5×	1.0G	73.4%

• MetaPruning 在相同 FLOPs 下对 MobileNet V1、MobileNet V2、ResNet-50 的精度均高于均匀剪枝基线。
• 在相同延迟下，MetaPruning 的 Top-1 精度比 MobileNet V1/V2 基线高出最多 9.9 个百分点。
• MetaPruning 在可比 FLOPs 条件下优于 ResNet-50 的 ThiNet、CP、SFP 剪枝方法。
• 与 AutoML 剪枝方法 AMC 和 NetAdapt 相比，MetaPruning 在相似 FLOPs 下获得更高的精度。
• PruningNet 能够跨越多种被剪枝结构预测权重，使得在搜索过程中无需重新训练即可进行高效搜索。