[论文解读] Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey

Jiayi Liu, Samarth Tripathi+2 more|arXiv (Cornell University)|May 8, 2020

Advanced Neural Network Applications参考文献 52被引用 41

一句话总结

面向边缘部署的卷积神经网络剪枝技术的综合综述，覆盖标准、程序与权衡，并讨论实际挑战与未来方向。

ABSTRACT

With the general trend of increasing Convolutional Neural Network (CNN) model sizes, model compression and acceleration techniques have become critical for the deployment of these models on edge devices. In this paper, we provide a comprehensive survey on Pruning, a major compression strategy that removes non-critical or redundant neurons from a CNN model. The survey covers the overarching motivation for pruning, different strategies and criteria, their advantages and drawbacks, along with a compilation of major pruning techniques. We conclude the survey with a discussion on alternatives to pruning and current challenges for the model compression community.

研究动机与目标

• 阐明模型压缩的必要性，以实现CNN在边缘/物联网部署。
• 表征剪枝标准（数据无关与数据驱动）及其取舍。
• 描述有效剪枝的剪枝流程和迭代训练策略。
• 总结边缘场景下剪枝的硬件感知考量与实际局限。

提出的方法

• 将剪枝标准分类为数据无关和数据驱动（数据感知）两类。
• 描述结合剪枝、掩码和再训练的迭代剪枝工作流（算法1谱系）。
• 回顾显著性测度和优化方法（L1/L2范数、Hessian基、APG、ADMM等）。
• 讨论结构化剪枝与非结构化剪枝及向面向结构的剪枝以实现加速的趋势。
• 总结基于学习、强化学习/RL/NAS方法以自动化剪枝和压缩预算。

实验结果

研究问题

• RQ1 哪些剪枝标准能够在不牺牲精度的前提下最佳识别非关键的神经元或卷积核？
• RQ2 迭代剪枝流程如何在剪枝强度与再训练之间取得平衡以恢复精度？
• RQ3 在为边缘设备剪枝CNN时，实际的硬件相关收益（FLOPs、参数、真实速度）是多少？
• RQ4 在边缘部署中，与其他压缩方法相比，剪枝的主要权衡和局限性是什么？
• RQ5 面向边缘AI剪枝仍存在哪些未来方向和未解决的挑战？

主要发现

• 剪枝可以在显著程度上减少模型大小和推理时间，但在真实硬件上，加速并不总是与FLOPs的降低直接相关。
• 结构化剪枝（如通道/滤波器/裁剪块）往往比按权重非结构化剪枝实现更现实的加速，因为能更好地利用硬件。
• 数据感知标准（如APoZ、激活熵、神经重要性分数）在剪枝中越来越突出，以更好地保持精度。
• 带有再训练的迭代剪枝通常优于一次性剪枝，尽管从头训练与剪枝后再训练的最佳选择会因模型和预算而异。
• 需要面向硬件和能耗感知的剪枝范式，以真实反映边缘设备上的资源利用。