[论文解读] Pruning via Iterative Ranking of Sensitivity Statistics

Stijn Verdenius, Maarten Stol+1 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 72被引用 13

一句话总结

本文提出 SNIP-it，一种新颖的剪枝方法，通过在训练前以更小的步骤迭代应用 SNIP 的敏感度准则，显著提升了高稀疏度场景下的性能与鲁棒性，且无需复杂的训练调度。该方法进一步扩展至结构化剪枝，形成 SNAP-it，在未结构化与结构化剪枝方面均实现了当前最优的稀疏度-准确率权衡，甚至在训练过程中亦表现优异。

ABSTRACT

With the introduction of SNIP [arXiv:1810.02340v2], it has been demonstrated that modern neural networks can effectively be pruned before training. Yet, its sensitivity criterion has since been criticized for not propagating training signal properly or even disconnecting layers. As a remedy, GraSP [arXiv:2002.07376v1] was introduced, compromising on simplicity. However, in this work we show that by applying the sensitivity criterion iteratively in smaller steps - still before training - we can improve its performance without difficult implementation. As such, we introduce 'SNIP-it'. We then demonstrate how it can be applied for both structured and unstructured pruning, before and/or during training, therewith achieving state-of-the-art sparsity-performance trade-offs. That is, while already providing the computational benefits of pruning in the training process from the start. Furthermore, we evaluate our methods on robustness to overfitting, disconnection and adversarial attacks as well.

研究动机与目标

• 为解决 SNIP 敏感度准则在高稀疏度场景下存在的梯度传播差与层断开问题。
• 在无需预训练或复杂训练调度的前提下，提升彩票票券式剪枝的性能与鲁棒性。
• 将基于敏感度的剪枝方法扩展至结构化剪枝，实现从初始化开始的高效稀疏训练。
• 在多个鲁棒性维度上评估该方法，包括过拟合、层断开与对抗攻击。

提出的方法

• SNIP-it 在训练前以小步长迭代应用 SNIP 敏感度准则，逐步移除敏感度较低的权重。
• 敏感度准则通过单个批次的权重梯度与激活值的乘积计算，用于对参数重要性进行排序。
• 在每次迭代中，仅移除敏感度最低的一小部分权重，以保持梯度流动并降低层断开风险。
• 该方法通过在单个权重或整个滤波器/通道上应用相同的迭代排序，同时支持未结构化与结构化剪枝。
• SNAP-it 通过基于敏感度对整个滤波器或通道进行排序，将 SNIP-it 扩展至结构化剪枝，实现从初始化开始的结构化稀疏性。
• 该方法无需预训练、微调或复杂超参数调优，保持简洁的同时显著提升性能。

实验结果

研究问题

• RQ1 是否可以通过迭代应用 SNIP 敏感度准则，提升高稀疏度场景下的剪枝性能与鲁棒性？
• RQ2 迭代剪枝是否能缓解单步 SNIP 中存在的梯度传播与层断开问题？
• RQ3 相同的基于敏感度的排序能否有效扩展至结构化剪枝，以实现未结构化与结构化稀疏性？
• RQ4 与 GraSP 及其他当前最优剪枝方法相比，SNIP-it 在准确率与稀疏度方面表现如何？
• RQ5 SNIP-it 对模型在过拟合、层断开与对抗攻击方面的鲁棒性有何影响？

主要发现

• SNIP-it 在多个数据集与网络架构上实现了当前最优的稀疏度-准确率权衡，在高稀疏度场景下优于 SNIP 与 GraSP。
• 与单步 SNIP 相比，迭代应用敏感度准则显著提升了对过拟合与对抗攻击的鲁棒性。
• SNAP-it 实现了从初始化开始的结构化剪枝，性能具有竞争力，无需预训练或复杂训练调度。
• 该方法在 95% 稀疏度下仍保持高准确率，展现出强大的泛化能力与稳定性。
• SNIP-it 显著改善了梯度流动并减少了层断开现象，验证了分步剪枝相较于单步移除的优势。
• 该方法从训练开始即实现剪枝的计算优势，支持高效推理，无需后续剪枝步骤。