[论文解读] EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning

Bailin Li, Bowen Wu+3 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 30被引用 13

一句话总结

EagleEye 提出了一种基于自适应批量归一化（adaptive-BN）的快速子网络评估方法，用于高效神经网络剪枝，在多种架构（MobileNetV1/V2、ResNet-50）和数据集（CIFAR-10、ImageNet）上显著提升了评估准确率与微调后准确率之间的相关性，相关系数最高达 0.937，优于原始评估方法，并在基于 L1 和 L2 范数的剪枝中均表现出良好的泛化能力。

ABSTRACT

Finding out the computational redundant part of a trained Deep Neural Network (DNN) is the key question that pruning algorithms target on. Many algorithms try to predict model performance of the pruned sub-nets by introducing various evaluation methods. But they are either inaccurate or very complicated for general application. In this work, we present a pruning method called EagleEye, in which a simple yet efficient evaluation component based on adaptive batch normalization is applied to unveil a strong correlation between different pruned DNN structures and their final settled accuracy. This strong correlation allows us to fast spot the pruned candidates with highest potential accuracy without actually fine-tuning them. This module is also general to plug-in and improve some existing pruning algorithms. EagleEye achieves better pruning performance than all of the studied pruning algorithms in our experiments. Concretely, to prune MobileNet V1 and ResNet-50, EagleEye outperforms all compared methods by up to 3.8%. Even in the more challenging experiments of pruning the compact model of MobileNet V1, EagleEye achieves the highest accuracy of 70.9% with an overall 50% operations (FLOPs) pruned. All accuracy results are Top-1 ImageNet classification accuracy. Source code and models are accessible to open-source community https://github.com/anonymous47823493/EagleEye .

研究动机与目标

• 解决现有剪枝方法在准确率估计中需要完整微调而导致的效率低下问题。
• 提升快速子网络评估与实际微调后准确率之间的相关性，以实现可靠的剪枝候选排序。
• 证明自适应-BN 评估方法在不同架构、数据集以及剪枝准则（L1 和 L2 范数）下的泛化能力。
• 通过用轻量级、高精度的评估机制替代昂贵的完整微调，实现更快、更高效的神经网络剪枝。

提出的方法

• 提出一种基于自适应-BN 的评估方法，利用针对剪枝子网络结构自适应调整的批量归一化统计量来计算准确率估计值。
• 将标准 BN 层替换为自适应-BN 层，使其在评估过程中根据当前子网络结构重新计算运行统计量。
• 利用自适应-BN 的输出预测剪枝后子网络的微调准确率，而无需完整训练。
• 在多个架构（MobileNetV1/V2、ResNet-50）和数据集（CIFAR-10、ImageNet）上应用该方法，以测试其鲁棒性。
• 通过皮尔逊相关系数（Pearson）、斯皮尔曼等级相关系数（Spearman）和肯德尔协调系数（Kendall）等指标，将自适应-BN 评估与标准（原始）BN 评估进行对比。
• 在不同 FLOPs 约束和剪枝策略（基于 L1 和 L2 范数的滤波器剪枝）下验证该方法的有效性。

实验结果

研究问题

• RQ1 在子网络剪枝中，基于自适应-BN 的评估方法是否能比原始 BN 评估实现更高的与微调准确率的相关性？
• RQ2 该自适应-BN 评估方法在不同神经网络架构（如 MobileNetV1、ResNet-50）上的泛化能力如何？
• RQ3 在不同 FLOPs 约束和剪枝率下，自适应-BN 方法是否仍能保持高相关性？
• RQ4 与基于 L1 范数的剪枝相比，自适应-BN 方法在基于 L2 范数的滤波器剪枝中表现如何？
• RQ5 该自适应-BN 方法是否能无需完整微调即可可靠地对剪枝候选进行排序，从而加速剪枝流程？

主要发现

• 在 CIFAR-10 上对 MobileNetV1 进行剪枝，FLOPs 约束为 62.5% 时，基于自适应-BN 的评估方法与微调准确率的皮尔逊相关系数达到 0.937，显著优于原始 BN 方法。
• 在无 FLOPs 约束的 ResNet-50 上，自适应-BN 的相关系数为 0.681，而原始 BN 仅为 0.279，表明其具有更强的鲁棒性。
• 在无 FLOPs 约束的 ImageNet 上对 MobileNetV2 进行剪枝时，自适应-BN 的皮尔逊相关系数为 0.634（斯皮尔曼相关系数：0.564），优于原始 BN（斯皮尔曼相关系数：-0.216）。
• 在 ImageNet 上基于 L2 范数的剪枝中，自适应-BN 的皮尔逊相关系数为 0.535，而原始 BN 仅为 0.074，证实其在 L1 剪枝之外也具有良好的泛化能力。
• 该方法在多种设置下均保持优异性能：MobileNetV1 在 CIFAR-10 上（0.655–0.857）、ResNet-50 在 CIFAR-10 上（0.279–0.681）、MobileNetV2 在 ImageNet 上（−0.09 至 0.634）。
• 在所有评估配置中，自适应-BN 方法在皮尔逊、斯皮尔曼和肯德尔相关系数三项指标上均表现出更高相关性，证明其在快速子网络评估中的可靠性。