[论文解读] Dynamic Network Surgery for Efficient DNNs

Yiwen Guo, Anbang Yao+1 more|arXiv (Cornell University)|Aug 16, 2016

Advanced Neural Network Applications参考文献 16被引用 140

一句话总结

简介了动态网络手术，在训练期间对连接进行裁剪和拼接，以高效压缩 DNN 而不损失精度，优于以往的裁剪方法。

ABSTRACT

Deep learning has become a ubiquitous technology to improve machine intelligence. However, most of the existing deep models are structurally very complex, making them difficult to be deployed on the mobile platforms with limited computational power. In this paper, we propose a novel network compression method called dynamic network surgery, which can remarkably reduce the network complexity by making on-the-fly connection pruning. Unlike the previous methods which accomplish this task in a greedy way, we properly incorporate connection splicing into the whole process to avoid incorrect pruning and make it as a continual network maintenance. The effectiveness of our method is proved with experiments. Without any accuracy loss, our method can efficiently compress the number of parameters in LeNet-5 and AlexNet by a factor of $\bm{108} imes$ and $\bm{17.7} imes$ respectively, proving that it outperforms the recent pruning method by considerable margins. Code and some models are available at https://github.com/yiwenguo/Dynamic-Network-Surgery.

研究动机与目标

• 为移动/可部署使用场景推动对深度神经网络的压缩需求。
• 提出一个动态裁剪与拼接框架，持续维护网络结构。
• 在保持或提升精度的同时显著减小模型规模。
• 在 LeNet 变体和 AlexNet 上实现显著的压缩增益，而不损失性能。

提出的方法

• 使用权重矩阵 Wk 和二进制掩码 Tk 来表示网络，指示活动连接。
• 通过交替更新 Wk 和 Tk，使用 SGD 在 L(Wk ⊙ Tk) 上求解一个约束裁剪问题。
• 使用判别函数 hk(·) 根据幅度阈值 (a_k 和 b_k) 决定哪些连接被裁剪、保留或拼接。
• 通过拼接使先前裁剪的连接在再次变得重要时重新激活。
• Wk 的更新规则为 Wk ← Wk − β ∂L(Wk ⊙ Tk)/∂Wk，以允许对掩码权重的部分反向传播。
• 用迭代概率 σ(iter) 对裁剪/拼接的频率进行随机控制，以稳定收敛。
• 对卷积层和全连接层分别进行裁剪与拼接，以缓解梯度消失和学习效率低下。

实验结果

研究问题

• RQ1 动态裁剪并即时拼接是否能在不损失精度的前提下实现比先前裁剪方法更高的压缩率？
• RQ2 与 Han 等人的裁剪相比，该方法在标准网络（LeNet-5, LeNet-300-100, AlexNet）上表现如何？
• RQ3 确定参数重要性的有效标准是什么，以引导裁剪和拼接？

主要发现

模型	Top-1 错误	参数	迭代	压缩
LeNet-5 reference	0.91%	431K	10K
LeNet-5 pruned	0.91%	4.0K	16K	108×
LeNet-300-100 reference	2.28%	267K	10K
LeNet-300-100 pruned	1.99%	4.8K	25K	56×
AlexNet reference	43.42%	61M	450K
AlexNet pruned	43.09%	3.45M	700K	17.7×

• 动态网络手术在标准模型上实现显著压缩且无精度损失（例如 LeNet-5 降至 108×，AlexNet 降至 17.7×）。
• 该方法在激进裁剪下通常保持或略微提升精度。
• 层级比较显示该方法在 AlexNet 的各层上持续优于 Han 等人的裁剪。
• 与竞争裁剪方法相比，该技术需要的训练迭代显著更少（例如 AlexNet 为 700K 而不是 960K+）。
• 通过保留少量参数并通过裁剪和拼接动态更新掩码实现压缩。