[论文解读] Accelerate CNN via Recursive Bayesian Pruning

Yuefu Zhou, Ya Zhang+2 more|arXiv (Cornell University)|Dec 2, 2018

Advanced Neural Network Applications参考文献 44被引用 4

一句话总结

本文提出递归贝叶斯剪枝（RBP），一种逐层的贝叶斯通道剪枝方法，通过将跨层的丢弃噪声建模为马尔可夫链来捕捉层间依赖关系，实现高效、数据驱动的剪枝且无需额外开销。RBP 在 VGG16 上实现高达 5.0× 的 FLOPs 减少，ImageNet 上精度损失极小；在 ResNet50 上实现 2.2× 的 FLOPs 减少。

ABSTRACT

Channel Pruning, widely used for accelerating Convolutional Neural Networks, is an NP-hard problem due to the inter-layer dependency of channel redundancy. Existing methods generally ignored the above dependency for computation simplicity. To solve the problem, under the Bayesian framework, we here propose a layer-wise Recursive Bayesian Pruning method (RBP). A new dropout-based measurement of redundancy, which facilitate the computation of posterior assuming inter-layer dependency, is introduced. Specifically, we model the noise across layers as a Markov chain and target its posterior to reflect the inter-layer dependency. Considering the closed form solution for posterior is intractable, we derive a sparsity-inducing Dirac-like prior which regularizes the distribution of the designed noise to automatically approximate the posterior. Compared with the existing methods, no additional overhead is required when the inter-layer dependency assumed. The redundant channels can be simply identified by tiny dropout noise and directly pruned layer by layer. Experiments on popular CNN architectures have shown that the proposed method outperforms several state-of-the-arts. Particularly, we achieve up to $\bf{5.0 imes}$ and $\bf{2.2 imes}$ FLOPs reduction with little accuracy loss on the large scale dataset ILSVRC2012 for VGG16 and ResNet50, respectively.

研究动机与目标

• 解决卷积神经网络中通道剪枝的挑战，其中层间依赖关系使冗余性识别变得复杂。
• 克服现有贝叶斯剪枝方法假设各层通道独立的局限性。
• 开发一种能捕捉层间依赖关系且不引入计算开销的剪枝框架。
• 通过稀疏性诱导先验实现基于贝叶斯推理的高效、逐层剪枝。
• 通过剪枝后快速微调，平衡模型加速与数据拟合性，保持模型性能。

提出的方法

• 将跨层的丢弃噪声建模为马尔可夫链，以在贝叶斯框架中编码层间依赖关系。
• 引入一种稀疏性诱导的狄拉克型先验，以正则化丢弃噪声的分布，并近似难以处理的后验分布。
• 使用带有狄拉克型先验的变分推断，通过接近零的丢弃率识别冗余通道。
• 基于推断出的丢弃率逐层执行剪枝，且不增加额外推理成本。
• 利用重参数化技巧提升数据拟合性，并支持剪枝后的快速微调。
• 递归地跨层应用该方法，从第一层开始，以保持特征图分布的一致性。

实验结果

研究问题

• RQ1 如何在贝叶斯剪枝中有效建模通道冗余中的层间依赖关系？
• RQ2 能否在不增加额外计算成本的前提下获得后验分布的闭式近似？
• RQ3 与独立通道假设相比，将丢弃噪声建模为马尔可夫链是否能提升剪枝精度与模型效率？
• RQ4 所提方法在大规模数据集上能将 FLOPs 减少多少，同时保持模型精度？
• RQ5 在不同架构（如 VGG16 和 ResNet50）上，于不同剪枝率下，该方法表现如何？

主要发现

• RBP 在 VGG16 上实现高达 5.0× 的 FLOPs 减少，ImageNet 上 top-5 精度仅下降 2.2%。
• 对于 ResNet50，RBP 实现 2.2× 的 FLOPs 减少，top-5 精度下降 2.9%，表明在深层网络中具有强大加速能力。
• 递归变体 RRBP 剪除 4,000 个通道（多于 RBP 的 3,824 个），显示出更优的剪枝均匀性与鲁棒性。
• RRBP 在微调过程中收敛更快，ResNet50-RRBP 在第 7 个周期即恢复性能。
• ResNet50 最终残差块中的丢弃率远离 0 或 1，表明对剪枝敏感，与实验观察一致。
• 该方法在剪枝后保持高数据拟合性，仅需少数微调周期即可快速恢复性能。