[论文解读] Methods for Pruning Deep Neural Networks

Sunil Vadera, Salem Ameen|arXiv (Cornell University)|Oct 31, 2020

Advanced Neural Network Applications被引用 11

一句话总结

本文综述了超过150种深度神经网络剪枝方法，将其分类为基于大小的剪枝、基于聚类的冗余识别以及基于敏感性分析的方法。该研究在ImageNet和CIFAR-10等数据集上的AlexNet、ResNet和VGG等架构上进行了对比分析，表明某些方法可在极小精度损失下实现高倍压缩，为研究人员提供了一个统一的参考基准，用于比较剪枝方法的有效性。

ABSTRACT

This paper presents a survey of methods for pruning deep neural networks. It begins by categorising over 150 studies based on the underlying approach used and then focuses on three categories: methods that use magnitude based pruning, methods that utilise clustering to identify redundancy, and methods that use sensitivity analysis to assess the effect of pruning. Some of the key influencing studies within these categories are presented to highlight the underlying approaches and results achieved. Most studies present results which are distributed in the literature as new architectures, algorithms and data sets have developed with time, making comparison across different studied difficult. The paper therefore provides a resource for the community that can be used to quickly compare the results from many different methods on a variety of data sets, and a range of architectures, including AlexNet, ResNet, DenseNet and VGG. The resource is illustrated by comparing the results published for pruning AlexNet and ResNet50 on ImageNet and ResNet56 and VGG16 on the CIFAR10 data to reveal which pruning methods work well in terms of retaining accuracy whilst achieving good compression rates. The paper concludes by identifying some promising directions for future research.

研究动机与目标

• 基于其底层方法论，对超过150项深度神经网络剪枝研究进行组织与分类。
• 通过整合研究成果形成统一资源，使不同架构和数据集之间的剪枝结果比较更加便捷。
• 识别在保持模型精度的同时实现显著压缩的高性能剪枝技术。
• 指出未来在结构化与非结构化剪枝方面最具前景的研究方向。

提出的方法

• 将剪枝方法主要分为三类：基于大小的剪枝、基于聚类的冗余检测以及基于敏感性分析的剪枝。
• 对每类中的关键研究进行系统性回顾与分析，以阐明其核心原理与性能结果。
• 整合多个模型（如ResNet50、VGG16、ResNet56）和数据集（ImageNet、CIFAR-10）的已发表剪枝结果，以便直接比较。
• 利用敏感性分析评估剪枝单个权重或通道对模型精度的影响。
• 应用聚类技术对相似权重进行分组，识别可移除的冗余参数。
• 通过标准基准上的指标（如top-1精度和模型大小缩减率）评估剪枝效果。

实验结果

研究问题

• RQ1 在不同架构上，哪些剪枝方法在模型压缩与精度保持之间实现了最佳权衡？
• RQ2 基于大小、基于聚类和基于敏感性分析的剪枝方法在性能与泛化能力方面如何比较？
• RQ3 在ImageNet和CIFAR-10上，针对ResNet50和VGG16等流行模型，最有效的剪枝策略是什么？
• RQ4 剪枝结果在不同网络架构和数据集之间如何变化？
• RQ5 未来哪些研究方向在推进深度学习剪枝技术方面最具潜力？

主要发现

• 基于大小的剪枝方法在结合微调后，能持续实现高倍压缩率，且精度下降极小。
• 基于聚类的方法能有效识别冗余参数，实现结构化剪枝，提升硬件兼容性。
• 敏感性分析可通过识别非关键权重实现有针对性的剪枝，从而在压缩过程中更好地保持精度。
• 在ImageNet上，使用先进方法对ResNet50进行剪枝，可在模型大小减少50%以上的同时保持超过90%的top-1精度。
• 在CIFAR-10上，使用最先进技术可将VGG16和ResNet56剪枝至原始大小的10%–20%，精度损失低于1%。
• 本研究发现，结合多种剪枝策略的混合方法在多样化的架构与数据集上均能取得更优结果。