[论文解读] Dynamical Isometry: The Missing Ingredient for Neural Network Pruning

Huan Wang, Can Qin+2 more|arXiv (Cornell University)|May 12, 2021

Neural Networks and Applications参考文献 55被引用 4

一句话总结

本文将微调性能不佳的根本原因归因于剪枝后动态等距性的退化，并提出 OrthP 方法作为即插即用的解决方案以恢复该特性。本文解释了为何较大的微调学习率能提升准确率，并通过展示次优的微调设置（尤其是低学习率）导致与从零开始训练的误导性比较，解决了关于剪枝价值的争议。

ABSTRACT

Several recent works [40, 24] observed an interesting phenomenon in neural network pruning: A larger finetuning learning rate can improve the final performance significantly. Unfortunately, the reason behind it remains elusive up to date. This paper is meant to explain it through the lens of dynamical isometry [42]. Specifically, we examine neural network pruning from an unusual perspective: pruning as initialization for finetuning, and ask whether the inherited weights serve as a good initialization for the finetuning? The insights from dynamical isometry suggest a negative answer. Despite its critical role, this issue has not been well-recognized by the community so far. In this paper, we will show the understanding of this problem is very important -- on top of explaining the aforementioned mystery about the larger finetuning rate, it also unveils the mystery about the value of pruning [5, 30]. Besides a clearer theoretical understanding of pruning, resolving the problem can also bring us considerable performance benefits in practice.

研究动机与目标

• 解释为何较大的微调学习率能显著提升剪枝模型的性能这一经验观察。
• 解决关于剪枝是否真正优于从零开始训练小模型的争议。
• 通过分析通过动态等距性传播的信号，探究剪枝是否可作为微调的良好初始化。
• 提出一种在剪枝后恢复动态等距性的方法，以改善微调的收敛性和最终准确率。

提出的方法

• 利用平均雅可比奇异值（JSV）分析动态等距性，以衡量剪枝网络中的信号传播。
• 提出 OrthP 方法，通过正交化剪枝网络的权重，在微调前恢复动态等距性。
• 评估不同微调学习率对动态等距性恢复和最终准确率的影响。
• 将使用最优与次优学习率微调的剪枝模型与从零开始训练的模型进行比较。
• 在非线性和卷积架构（如 LeNet-5-ReLU）上测试 OrthP，以评估其在非线性模型中的泛化能力。
• 使用信号传播分析诊断剪枝如何破坏梯度流动，以及为何标准微调无法恢复该特性。

实验结果

研究问题

• RQ1 为何较大的微调学习率能显著提升剪枝神经网络的性能？
• RQ2 与从零开始训练小模型相比，剪枝是否真正具有优势？还是由于次优的微调设置导致比较产生偏差？
• RQ3 剪枝在多大程度上破坏了动态等距性？这种破坏是否可在微调前被逆转？
• RQ4 像 OrthP 这样的即插即用方法能否有效恢复动态等距性，并提升实际网络中的微调性能？
• RQ5 网络架构、剪枝率与微调超参数之间的相互作用如何影响动态等距性的恢复？

主要发现

• 剪枝显著降低了动态等距性，表现为平均雅可比奇异值（JSV）下降，尤其在高剪枝率下更为明显。
• 较大的微调学习率能加速动态等距性的恢复，从而解释了其在剪枝模型中带来的性能提升。
• 剪枝与从零开始训练之间的性能差距主要源于先前研究中次优的微调学习率，而非剪枝本身固有的局限性。
• 在使用最优微调学习率时，即使采用基础的 L1 范数剪枝，其性能也优于在多个剪枝率下从零开始训练的模型。
• OrthP 在线性及简单非线性网络中成功恢复了动态等距性，但在更深或更复杂的架构（如 LeNet-5-ReLU）中效果减弱。
• 本研究揭示，微调并非后处理步骤，而是一个关键的恢复阶段，应在剪枝流程中优先考虑动态等距性的恢复。