[论文解读] DropPruning for Model Compression.

Haipeng Jia, Xueshuang Xiang+6 more|arXiv (Cornell University)|Dec 5, 2018

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种新颖的迭代式模型压缩技术——Drop Pruning，通过使用随机的'丢弃'（移除不重要权重）和'恢复'（重新引入已剪枝权重）策略，在不损失准确率的情况下压缩深度神经网络。该方法通过动态管理稀疏性，并借助类似Dropout的机制减少过拟合，实现了当前最优的压缩比——在CIFAR-10上的VGG-16达到11.1×，在MNIST上的LeNet-5达到14.3×。

ABSTRACT

Deep neural networks (DNNs) have dramatically achieved great success on a variety of challenging tasks. However, most of the successful DNNs are structurally so complex, leading to much storage requirement and floating-point operation. This paper proposes a novel technique, named Drop Pruning, to compress the DNNs by pruning the weights from a dense high-accuracy baseline model without accuracy loss. Drop Pruning also falls into the standard iterative prune-retrain procedure, where a \emph{drop} strategy exists at each pruning step: \emph{drop out}, stochastic deleting some unimportant weights and \emph{drop in}, stochastic recovering some pruned weights. \emph{Drop out} and \emph{drop in} are supposed to handle the two drawbacks of the traditional pruning methods: local importance judgment and irretrievable pruning process, respectively. The suitable choosing of \emph{drop} probabilities can decrease the model size during pruning process and lead it to flow to the target sparsity. Drop Pruning also has some similar spirits with dropout, a stochastic algorithm in Integer Optimization and the Dense-Sparse-Dense training technique. Drop Pruning can significantly reducing overfitting while compressing the model. Experimental results demonstrates that Drop Pruning can achieve the state-of-the-art performance on many benchmark pruning tasks, about ${11.1 imes}$ compression of VGG-16 on CIFAR10 and ${14.3 imes}$ compression of LeNet-5 on MNIST without accuracy loss, which may provide some new insights into the aspect of model compression.

研究动机与目标

• 为解决传统权重剪枝方法的局限性，如局部重要性估计和不可逆的剪枝决策。
• 在剪枝与微调过程中减少模型过拟合。
• 在压缩过程中实现对模型稀疏性的灵活且精确的控制。
• 在保持原始模型准确率的同时实现高倍率压缩。
• 探索随机剪枝与Dropout及Dense-Sparse-Dense训练等训练技术之间的协同效应。

提出的方法

• 提出一种新颖的迭代剪枝-微调框架，通过交替执行'丢弃'和'恢复'阶段，动态管理权重重要性。
• 基于重要性分数实施随机权重移除（'丢弃'），在剪枝过程中消除不重要的连接。
• 采用随机恢复（'恢复'）机制重新引入先前剪枝的权重，降低不可逆剪枝的风险。
• 使用自适应的丢弃概率，引导模型达到目标稀疏水平，同时保持准确率。
• 借鉴Dropout和Dense-Sparse-Dense训练的原理，提升压缩过程中的泛化能力与稳定性。
• 在整个过程中保持一个高准确率的基线模型，确保剪枝后无准确率下降。

实验结果

研究问题

• RQ1 一种包含权重移除与恢复的随机剪枝策略，是否能在不损失准确率的情况下提升模型压缩效果？
• RQ2 '丢弃'与'恢复'之间的动态交互如何在迭代剪枝过程中减少过拟合？
• RQ3 Drop Pruning在标准基准测试上相比现有方法能否实现更高的压缩比？
• RQ4 丢弃概率的选择在多大程度上影响压缩模型的收敛性与稀疏性？
• RQ5 Drop Pruning是否能继承Dropout和Dense-Sparse-Dense训练在压缩模型中的泛化优势？

主要发现

• Drop Pruning在CIFAR-10上的VGG-16上实现了11.1×的压缩，且无任何准确率损失。
• 该方法在MNIST上的LeNet-5上实现了14.3×的压缩，同时保持了原始模型的准确率。
• 随机'恢复'机制有效逆转了不可逆的剪枝决策，提升了模型鲁棒性。
• Drop Pruning显著减少了在迭代剪枝与微调过程中的过拟合。
• 该方法在多个基准剪枝任务中表现出当前最优的性能。
• 该技术成功整合了Dropout和Dense-Sparse-Dense训练的原理，增强了模型的泛化能力。