[论文解读] Fine-Pruning: Joint Fine-Tuning and Compression of a Convolutional Network with Bayesian Optimization

Frederick Tung, S. Muralidharan+1 more|arXiv (Cornell University)|Jul 28, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用 15

一句话总结

本文提出 Fine-Pruning，一种利用贝叶斯优化在迭代过程中自适应调整剪枝参数的卷积网络联合微调与压缩方法。该方法在 UCMerced Land Use 数据集上实现了高达 48.8 倍的参数压缩，在 Describable Textures 数据集上实现了 23.7 倍的压缩，同时将测试精度保持在密集微调模型的 1% 以内。

ABSTRACT

When approaching a novel visual recognition problem in a specialized image domain, a common strategy is to start with a pre-trained deep neural network and fine-tune it to the specialized domain. If the target domain covers a smaller visual space than the source domain used for pre-training (e.g. ImageNet), the fine-tuned network is likely to be over-parameterized. However, applying network pruning as a post-processing step to reduce the memory requirements has drawbacks: fine-tuning and pruning are performed independently; pruning parameters are set once and cannot adapt over time; and the highly parameterized nature of state-of-the-art pruning methods make it prohibitive to manually search the pruning parameter space for deep networks, leading to coarse approximations. We propose a principled method for jointly fine-tuning and compressing a pre-trained convolutional network that overcomes these limitations. Experiments on two specialized image domains (remote sensing images and describable textures) demonstrate the validity of the proposed approach.

研究动机与目标

• 解决在遥感与纹理等专业视觉领域中，过参数化微调网络效率低下的问题。
• 克服独立微调与事后剪枝的局限性，包括剪枝参数固定以及超参数搜索成本过高的问题。
• 提出一种系统化、自适应的方法，联合优化网络压缩与微调，以提升内存效率而不损失精度。
• 通过贝叶斯优化实现训练过程中逐层剪枝率的自动、动态调整，以适应网络特性的演化。

提出的方法

• 引入一种迭代流程，交替进行网络微调与使用贝叶斯优化更新剪枝参数。
• 利用贝叶斯优化学习最优剪枝参数（如各层的稀疏度水平），并根据网络性能随时间自适应调整。
• 将剪枝过程建模为可微的目标函数，目标是在保持精度的同时最小化参数量。
• 应用参数化剪枝模块，实现对各层稀疏度的精细控制，使控制器能够优先处理高参数量层（如 fc6 和 fc7）。
• 采用固定学习率为 0.001，并在每次迭代中训练 10 个周期，以确保微调阶段的稳定收敛。
• 通过在剪枝与微调之间引入反馈机制，利用知识迁移与压缩的兼容性，引导优化过程。

Figure 1: Consider the task of training a deep convolutional neural network on a specialized image domain (e.g. remote sensing images). (a) The conventional approach starts with a network pre-trained on a large, generic dataset (e.g. ImageNet) and fine-tunes it to the specialized domain. (b) Since t

实验结果

研究问题

• RQ1 通过自适应优化实现的联合微调与剪枝，是否比独立的事后剪枝更有效地减小模型规模？
• RQ2 贝叶斯优化如何在迭代压缩过程中提升跨层剪枝参数的选择效率？
• RQ3 在专业图像领域中，该方法在实现显著压缩的同时，能在多大程度上保持高精度？
• RQ4 该方法是否会自动优先压缩高参数量层（如 fc6 和 fc7），如果是，原因是什么？
• RQ5 贝叶斯优化学习到的自适应剪枝策略，在内存-精度权衡方面是否优于固定或粗粒度的剪枝启发式方法？

主要发现

• 在 UCMerced Land Use 数据集上，Fine-Pruning 实现了 48.8 倍的参数压缩（从 57.0M 降至 1.17M），同时将测试精度保持在密集微调网络的 1% 以内。
• 在更具挑战性的 Describable Textures 数据集上，Fine-Pruning 实现了 23.7 倍的压缩率（2.41M 参数），在压缩效率上比独立基线方法高出 5.9 倍。
• 贝叶斯优化控制器学习到在初期施加强烈剪枝，并随网络收敛逐渐降低剪枝强度，呈现剪枝率逐渐减弱的趋势。
• 该方法自动优先压缩了 fc6 和 fc7 层——这两层分别贡献了 99.2% 和 99.6% 的参数压缩量——原因在于它们对目标函数的影响最大。
• 逐层压缩结果显示，在 UCMerced 数据集上总体参数压缩率达 98.0%，其中全连接层的压缩程度最高。
• 该方法在十次随机运行中均表现出一致性能，表明其在专业视觉领域中的鲁棒性与泛化能力。