[论文解读] A Unified Paths Perspective for Pruning at Initialization

Thomas Gebhart, Udit Saxena+1 more|arXiv (Cornell University)|Jan 26, 2021

Stochastic Gradient Optimization Techniques参考文献 15被引用 10

一句话总结

本文提出了路径核（Path Kernel），这是一种神经正切核（Neural Tangent Kernel）的数据无关分解，能够捕捉网络架构对神经网络训练动态的影响。通过分析路径协方差结构，该方法统一了初始化时剪枝的方法，并实现了在训练前对收敛性和泛化性能的预测。实证验证表明，对于更宽的网络，如SynFlow-L2等宽度鲁棒性剪枝变体性能得到提升。

ABSTRACT

A number of recent approaches have been proposed for pruning neural network parameters at initialization with the goal of reducing the size and computational burden of models while minimally affecting their training dynamics and generalization performance. While each of these approaches have some amount of well-founded motivation, a rigorous analysis of the effect of these pruning methods on network training dynamics and their formal relationship to each other has thus far received little attention. Leveraging recent theoretical approximations provided by the Neural Tangent Kernel, we unify a number of popular approaches for pruning at initialization under a single path-centric framework. We introduce the Path Kernel as the data-independent factor in a decomposition of the Neural Tangent Kernel and show the global structure of the Path Kernel can be computed efficiently. This Path Kernel decomposition separates the architectural effects from the data-dependent effects within the Neural Tangent Kernel, providing a means to predict the convergence dynamics of a network from its architecture alone. We analyze the use of this structure in approximating training and generalization performance of networks in the absence of data across a number of initialization pruning approaches. Observing the relationship between input data and paths and the relationship between the Path Kernel and its natural norm, we additionally propose two augmentations of the SynFlow algorithm for pruning at initialization.

研究动机与目标

• 在单一理论框架下统一多种初始化时剪枝方法。
• 将神经正切核分解为与数据无关（路径核）和与数据相关两部分，以分析训练动态。
• 仅通过架构信息，在训练前预测网络的收敛性和泛化性能。
• 通过利用路径核的结构改进现有剪枝算法（如SynFlow）。
• 实现在不同架构和压缩比率下无需数据的剪枝有效性评估。

提出的方法

• 将路径核定义为具有同质激活的神经网络中路径激活的对称协方差矩阵。
• 推导出神经正切核分解为路径核与一个与数据相关项的乘积。
• 证明路径核能够捕捉架构对训练动态的全局影响，从而实现无需数据的收敛性预测。
• 在以路径为中心的框架下重新表述现有剪枝方法（如SynFlow），揭示其对路径协方差的隐含依赖。
• 基于路径核的范数与结构，提出两种新型剪枝变体——SynFlow-L2与分布性变体。
• 通过在MNIST、CIFAR-10与CIFAR-100上的全连接网络、VGG与ResNet架构上进行实证评估，验证预测结果。

实验结果

研究问题

• RQ1 如何对神经正切核进行分解，以在训练动态中分离架构影响与数据依赖影响？
• RQ2 路径协方差结构在决定初始化时剪枝网络的收敛性与泛化性能方面起什么作用？
• RQ3 现有初始化时剪枝方法如何隐含地依赖于路径核的特征结构？
• RQ4 能否利用路径核在无需任何训练或数据访问的情况下预测剪枝方法的性能？
• RQ5 基于路径核对SynFlow进行的修改，如何提升其在不同模型宽度与压缩比率下的鲁棒性？

主要发现

• 路径核提供了网络收敛动态的数据无关近似，使得无需输入数据即可预测训练行为。
• SynFlow-L2在更宽的网络（如FC-1000、FC-2000）上优于标准SynFlow，验证了宽度鲁棒性理论预测。
• 分布性剪枝变体的表现劣于非分布性变体，表明路径值的大小比路径分布更具预测性。
• ResNet20模型在不同剪枝比率下表现出更强的稳定性，而VGG-11/VGG-16在高稀疏度下易出现层坍塌。
• 路径核的特征结构与泛化性能强相关，从而可实现对剪枝有效性的早期评估。
• 该框架可推广至初始化之后的任意训练阶段，支持在任意时间点进行路径协方差分析，以实现模型解释与表征分析。