[论文解读] Structured Deep Neural Network Pruning by Varying Regularization Parameters.

Huan Wang, Qiming Zhang+2 more|arXiv (Cornell University)|Apr 25, 2018

Advanced Neural Network Applications被引用 7

一句话总结

本文提出一种结构化深度神经网络剪枝方法，根据权重的重要性动态分配不同的正则化参数，从而实现更有效的参数移除。通过按权重自适应调整正则化，该方法在AlexNet和VGG-16上实现4倍加速，且精度损失极小，在ResNet-50上实现2倍加速，仅造成0.1%的top-5精度下降。

ABSTRACT

Convolutional Neural Networks (CNN's) are restricted by their massive computation and high storage. Parameter pruning is a promising approach for CNN compression and acceleration, which aims at eliminating redundant model parameters with tolerable performance loss. Despite its effectiveness, existing regularization-based parameter pruning methods usually assign a fixed regularization parameter to all weights, which neglects the fact that different weights may have different importance to CNN. To solve this problem, we propose a theoretically sound regularization-based pruning method to incrementally assign different regularization parameters to different weights based on their importance to the network. On AlexNet and VGG-16, our method can achieve 4x theoretical speedup with similar accuracies compared with the baselines. For ResNet-50, the proposed method also achieves 2x acceleration and only suffers 0.1% top-5 accuracy loss.

研究动机与目标

• 为解决现有剪枝方法中固定正则化参数的局限性，这些方法未能考虑深层网络中权重重要性的差异。
• 开发一种理论基础扎实的剪枝方法，根据每个权重对网络性能的贡献，逐步分配正则化值。
• 在保持高精度的前提下，实现显著的模型压缩与加速，适用于AlexNet、VGG-16和ResNet-50等多样化CNN架构。
• 实现结构化剪枝，确保压缩过程中保持模型结构与计算效率。

提出的方法

• 该方法引入一种动态正则化方案，根据权重对网络性能的重要性，为每个权重分配正则化参数。
• 通过理论分析将权重敏感性与网络损失曲面联系起来，估算权重重要性，从而优先保留关键参数。
• 在训练过程中逐步调整正则化参数，优先保留高重要性权重，同时促进冗余权重的剪枝。
• 采用结构化剪枝以保持层间连接性和计算效率，避免产生非结构化稀疏性。
• 该算法与标准反向传播和优化方法兼容，支持端到端训练并实现自适应正则化。
• 该方法支持基于幅度和基于梯度的两种重要性估计方式，以指导正则化参数的分配。

实验结果

研究问题

• RQ1 与固定正则化相比，按权重调整正则化参数在CNN剪枝效率方面有何提升？
• RQ2 基于重要性的正则化对不同架构下模型精度和推理速度有何影响？
• RQ3 动态正则化分配能否实现高效结构化剪枝，在保持最小精度损失的同时实现高模型压缩？
• RQ4 在更深的网络（如ResNet-50）中，该方法的性能表现如何扩展？
• RQ5 在所提出的动态正则化方案下，剪枝率、加速比与精度损失之间的权衡关系如何？

主要发现

• 所提方法在AlexNet和VGG-16上实现了4倍理论加速，且精度与基线方法相当。
• 在ResNet-50上，该方法实现了2倍加速，仅造成0.1%的top-5精度下降，表现出强大的泛化能力。
• 与固定参数方法相比，该动态正则化方法在剪枝过程中显著更有效地保持了模型精度。
• 该方法实现了结构化剪枝，同时保持了计算效率和模型结构。
• 基于重要性的正则化分配能够更有效地移除冗余参数，且不损害模型性能。
• 该方法在多样化CNN架构（包括更深的ResNet-50模型）上均表现出可扩展性和有效性。