[论文解读] A Gradient Flow Framework For Analyzing Network Pruning

Ekdeep Singh Lubana, Robert P. Dick|arXiv (Cornell University)|May 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

本文提出了一种梯度流框架，通过分析参数范数如何影响训练过程中的模型演化，统一了网络剪枝方法。研究发现，基于大小的剪枝可加速收敛，损失保持剪枝维持一阶动力学，而梯度范数剪枝则破坏二阶动力学，从而解释了为何早期剪枝尽管存在理论顾虑仍能奏效。

ABSTRACT

Recent network pruning methods focus on pruning models early-on in training. To estimate the impact of removing a parameter, these methods use importance measures that were originally designed to prune trained models. Despite lacking justification for their use early-on in training, such measures result in surprisingly low accuracy loss. To better explain this behavior, we develop a general framework that uses gradient flow to unify state-of-the-art importance measures through the norm of model parameters. We use this framework to determine the relationship between pruning measures and evolution of model parameters, establishing several results related to pruning models early-on in training: (i) magnitude-based pruning removes parameters that contribute least to reduction in loss, resulting in models that converge faster than magnitude-agnostic methods; (ii) loss-preservation based pruning preserves first-order model evolution dynamics and is therefore appropriate for pruning minimally trained models; and (iii) gradient-norm based pruning affects second-order model evolution dynamics, such that increasing gradient norm via pruning can produce poorly performing models. We validate our claims on several VGG-13, MobileNet-V1, and ResNet-56 models trained on CIFAR-10/CIFAR-100.

研究动机与目标

• 为了理解为何基于大小的剪枝方法及其他重要性度量在训练早期剪枝时表现良好，尽管这些方法原本是为完全训练后的模型设计的。
• 通过基于梯度流和参数范数演化的共同理论框架，统一现有剪枝方法。
• 分析不同剪枝策略如何影响模型参数演化的的一阶与二阶动力学。
• 在VGG-13、MobileNet-V1和ResNet-56等标准架构上，于CIFAR-10和CIFAR-100数据集上验证该框架的预测。
• 为早期剪枝的实证成功提供理论依据，特别是最小化精度损失方面。

提出的方法

• 该框架将网络训练建模为连续的梯度流，追踪参数范数随时间的演化。
• 通过模型参数及其导数的范数，表达剪枝标准——即大小、损失保持和梯度范数。
• 理论分析将剪枝方法与模型演化的动力学（一阶，即损失减少；二阶，即损失曲面的曲率）联系起来。
• 该框架通过微分方程建模参数演化，推导出剪枝是否保持或扭曲模型轨迹的条件。
• 在VGG-13、MobileNet-V1和ResNet-56上进行实证验证，这些模型在CIFAR-10和CIFAR-100上训练，比较准确率与收敛速度。
• 分析区分了保持损失动力学（损失保持）与改变曲率（梯度范数）的剪枝，将其与模型性能关联。

实验结果

研究问题

• RQ1 为何基于大小的剪枝方法在训练早期应用时，尽管原本是为训练完成的模型设计的，仍能实现较低的精度损失？
• RQ2 不同剪枝标准如何与模型参数演化的一阶与二阶动力学相关联？
• RQ3 在何种条件下，剪枝能保持模型的训练轨迹与泛化能力？
• RQ4 基于梯度范数的剪枝如何影响模型收敛与性能？
• RQ5 能否通过参数范数演化，构建一个统一框架来解释多种剪枝方法的行为？

主要发现

• 基于大小的剪枝移除对损失减少贡献最小的参数，相比无大小感知的方法，能实现更快的收敛速度。
• 基于损失保持的剪枝保留了一阶模型演化动力学，因此适用于剪枝训练程度较低的模型。
• 基于梯度范数的剪枝影响了二阶动力学，通过剪枝增加梯度范数可能降低模型性能。
• 所提出的梯度流框架成功通过参数范数演化统一并解释了多种剪枝方法的行为。
• 在VGG-13、MobileNet-V1和ResNet-56上的实证结果表明，损失保持剪枝能维持精度，而基于大小的剪枝则加速收敛。
• 该框架为早期剪枝的实证成功提供了理论依据，即使使用原本并非为早期训练设计的重要性度量亦然。