[论文解读] A Deeper Look at the Layerwise Sparsity of Magnitude-based Pruning.

Jaeho Lee, Sejun Park+3 more|arXiv (Cornell University)|Oct 15, 2020

Advanced Neural Network Applications参考文献 41被引用 4

一句话总结

本文提出了一种新型重要性评分方法——层自适应幅度剪枝（LAMP），用于全局幅度剪枝。该方法通过使用模型级别的 ℓ₂ 误差对权重幅度进行重标度，自适应地确定每层的稀疏度，从而消除超参数调优的需要。LAMP 在多种模型和数据集上均实现了最先进性能，尤其在权重重置设置下，其表现优于现有方法（包括基于连接性的稀疏度方法），而后者在该设置下性能显著下降。

ABSTRACT

Recent discoveries on neural network pruning reveal that, with a carefully chosen layerwise sparsity, a simple magnitude-based pruning achieves state-of-the-art tradeoff between sparsity and performance. However, without a clear consensus on how to choose, the layerwise sparsities are mostly selected algorithm-by-algorithm, often resorting to handcrafted heuristics or an extensive hyperparameter search. To fill this gap, we propose a novel importance score for global pruning, coined layer-adaptive magnitude-based pruning (LAMP) score; the score is a rescaled version of weight magnitude that incorporates the model-level $\ell_2$ distortion incurred by pruning, and does not require any hyperparameter tuning or heavy computation. Under diverse datasets and models, LAMP consistently outperforms popular existing schemes for layerwise sparsity selection. Furthermore, we observe that LAMP continues to outperform baselines even in weight-rewinding setups, while the connectivity-oriented layerwise sparsity (the strongest baseline overall) performs worse than a simple global magnitude-based pruning in this case.

研究动机与目标

• 解决在基于幅度的剪枝中，选择最优层自适应稀疏度缺乏共识的问题。
• 消除在剪枝策略设计中对人工设计启发式方法或大量超参数搜索的依赖。
• 开发一种原理清晰且计算高效的 importance 评分方法，根据全局模型影响自适应地分配每层的稀疏度。
• 在包括权重重置在内的多种训练制度下，提升全局幅度剪枝的性能。
• 证明尽管基于连接性的稀疏度在标准设置下表现强劲，但在动态训练设置（如权重重置）中表现不佳。

提出的方法

• LAMP 引入了一种重标度的权重幅度评分，该评分考虑了在整个模型中因剪枝引起的 ℓ₂ 误差。
• 该重要性评分基于权重的幅度，并通过反映剪枝对模型性能影响的层特定归一化进行调整。
• 该方法无需额外的前向传播或梯度计算，因此计算开销极低。
• 层自适应稀疏度可直接从 LAMP 评分中确定，无需超参数调优或验证。
• 该方法在所有层上全局应用，实现了端到端剪枝并保持一致的性能表现。
• 该方法在标准和权重重置训练协议下进行评估，以检验其鲁棒性。

实验结果

研究问题

• RQ1 LAMP 在不同模型和数据集上，与现有层自适应稀疏度选择方法相比，在准确率与稀疏度权衡方面表现如何？
• RQ2 在权重重置设置下，LAMP 是否仍能保持优异性能，而该设置下模型动态变化显著？
• RQ3 为何基于连接性的层自适应稀疏度在权重重置场景中失效，而 LAMP 仍保持鲁棒？
• RQ4 一个简单且无需超参数调优的重要性评分能否超越复杂且经过调优的基线方法？
• RQ5 模型级别的 ℓ₂ 误差在指导有效层自适应稀疏度分配中起到什么作用？

主要发现

• LAMP 在多个数据集和模型架构上始终优于主流的层自适应稀疏度选择方法。
• LAMP 在无需任何超参数调优或额外计算开销的情况下，实现了最先进水平的准确率-稀疏度权衡。
• 在权重重置设置下，LAMP 保持了强劲性能，而基于连接性的稀疏度方法则显著退化。
• 在动态训练设置中，LAMP 与基线方法之间的性能差距进一步扩大，凸显了 LAMP 的鲁棒性。
• LAMP 中基于 ℓ₂ 误差感知的重标度机制，有效捕捉了剪枝对每层的真实影响，从而实现了更优的稀疏度分配。
• LAMP 的成功表明，模型级别的全局影响比基于连接性的启发式方法更能有效指导层自适应剪枝。