[论文解读] DropNet: Reducing Neural Network Complexity via Iterative Pruning

John Tan Chong Min, Mehul Motani|arXiv (Cornell University)|Jul 14, 2022

Advanced Neural Network Applications被引用 5

一句话总结

DropNet 是一种迭代剪枝方法，通过永久移除所有训练样本中平均激活值最低的神经元/卷积核来降低神经网络的复杂度。它在多层感知机（MLPs）和卷积神经网络（CNNs）中实现了高达 90% 的参数减少，且精度损失极小，并且在无需特殊权重初始化的情况下，性能可与一种理想剪枝方法相媲美。

ABSTRACT

Modern deep neural networks require a significant amount of computing time and power to train and deploy, which limits their usage on edge devices. Inspired by the iterative weight pruning in the Lottery Ticket Hypothesis, we propose DropNet, an iterative pruning method which prunes nodes/filters to reduce network complexity. DropNet iteratively removes nodes/filters with the lowest average post-activation value across all training samples. Empirically, we show that DropNet is robust across diverse scenarios, including MLPs and CNNs using the MNIST, CIFAR-10 and Tiny ImageNet datasets. We show that up to 90% of the nodes/filters can be removed without any significant loss of accuracy. The final pruned network performs well even with reinitialization of the weights and biases. DropNet also has similar accuracy to an oracle which greedily removes nodes/filters one at a time to minimise training loss, highlighting its effectiveness.

研究动机与目标

• 为边缘设备上的深度神经网络部署降低计算和内存开销。
• 开发一种稳健、数据驱动的剪枝方法，适用于全连接网络和卷积网络。
• 消除在剪枝模型中对特殊权重初始化（如彩票券风格重新初始化）的需求。
• 实现与一种理想剪枝方法相当的剪枝性能，该方法在剪枝过程中贪婪地最小化训练损失。
• 通过标准机器学习库和硬件实现剪枝模型的实际部署。

提出的方法

• DropNet 迭代地移除所有训练样本中平均激活值最低的神经元/卷积核，可全局进行或逐层进行。
• 剪枝决策基于每个神经元/卷积核在整个训练集上的激活值均方根大小，而非仅基于验证集。
• 每次剪枝步骤后，剩余网络使用随机权重和偏置重新初始化，而非原始的彩票券初始化方式。
• 该算法在训练剪枝后的网络与基于激活统计信息识别下一轮待剪枝节点/卷积核之间交替进行。
• 评估了两种剪枝指标：'minimum'（全局剪枝）和 'minimum_layer'（逐层剪枝），后者在深层模型中表现更优。
• 该方法被应用于全连接网络（MLPs）和卷积神经网络（CNNs）在 MNIST、CIFAR-10 和 Tiny ImageNet 上的实验。

实验结果

研究问题

• RQ1 基于平均激活值的迭代剪枝能否在降低网络复杂度的同时保持高精度？
• RQ2 DropNet 是否能在无需彩票券风格权重重新初始化的情况下维持性能？
• RQ3 DropNet 的性能与一种贪婪地最小化训练损失的理想剪枝方法相比如何？
• RQ4 在 ResNet18 和 VGG19 等深层架构中，逐层剪枝（minimum_layer）是否优于全局剪枝（minimum）？
• RQ5 DropNet 是否能有效应用于包括 Tiny ImageNet 在内的多样化架构和数据集？

主要发现

• 在 MNIST、CIFAR-10 和 Tiny ImageNet 上，DropNet 在 MLPs 和 CNNs 中实现了高达 90% 的神经元/卷积核减少，且精度下降极小。
• 使用随机权重初始化训练的剪枝模型性能与使用原始彩票券初始化的模型相当，表明无需特殊初始化。
• DropNet 的性能与一种贪婪地移除节点/卷积核以最小化训练损失的理想剪枝方法相当。
• 在 ResNet18 和 VGG19 等深层模型中，逐层剪枝（minimum_layer）优于全局剪枝（minimum），表明深层网络中层特定的激活统计信息具有重要意义。
• 每次迭代中采用较大剪枝比例（如 p=0.5 或 0.9）会导致性能下降，表明较小的剪枝步长（如 p=0.2）更为有效。
• 在相同剪枝程度下，DropNet 在准确率和鲁棒性方面均优于 APoZ 指标，证明其作为数据驱动剪枝准则的优越性。