[论文解读] Joint Multi-Dimension Pruning
JointPruning 提出了一种新颖的端到端剪枝框架，通过自适应随机梯度估计，同时联合优化空间、深度和通道维度的网络稀疏性。在 ImageNet 上，针对 MobileNet V1 和 V2 在极端压缩比下，其性能达到当前最优水平，准确率分别提升了 2.5% 和 2.6%。
We present joint multi-dimension pruning (named as JointPruning), a new perspective of pruning a network on three crucial aspects: spatial, depth and channel simultaneously. The joint strategy enables to search a better status than previous studies that focused on individual dimension solely, as our method is optimized collaboratively across the three dimensions in a single end-to-end training. Moreover, each dimension that we consider can promote to get better performance through colluding with the other two. Our method is realized by the adapted stochastic gradient estimation. Extensive experiments on large-scale ImageNet dataset across a variety of network architectures MobileNet V1&V2 and ResNet demonstrate the effectiveness of our proposed method. For instance, we achieve significant margins of 2.5% and 2.6% improvement over the state-of-the-art approach on the already compact MobileNet V1&V2 under an extremely large compression ratio.
研究动机与目标
- 为解决现有剪枝方法仅孤立地优化一个或两个维度（如通道或深度）的局限性。
- 探索联合剪枝空间、深度和通道维度的协同潜力，以提升模型效率和准确率。
- 开发一种统一的、可端到端训练的框架，实现在所有三个维度上的协同优化。
- 在不显著降低准确率的情况下实现高稀疏率，尤其适用于 MobileNet V1/V2 等紧凑模型。
提出的方法
- JointPruning 提出一个联合优化目标，在单一训练过程中同时剪枝空间、深度和通道维度。
- 采用改进的随机梯度估计技术，以处理多维剪枝决策的不可微性。
- 该方法支持端到端训练，使剪枝决策可微分并可通过梯度更新进行学习。
- 该框架在 ImageNet 数据集上应用于多种架构，包括 MobileNet V1、MobileNet V2 和 ResNet。
- 剪枝以协作方式进行，一个维度的改进可支持其他维度的性能提升。
实验结果
研究问题
- RQ1在空间、深度和通道维度上联合剪枝是否能带来比单一维度或双维度剪枝更优的模型压缩和准确率？
- RQ2在极端压缩条件下，三个维度的协同优化如何影响最终模型的性能？
- RQ3所提出的方法是否能在大压缩比下保持或提升紧凑模型（如 MobileNet V1 和 V2）的准确率？
- RQ4自适应随机梯度估计在实现端到端联合剪枝中的作用是什么？
主要发现
- 在 ImageNet 上，针对 MobileNet V1 在极端大压缩比下，JointPruning 相较于当前最优方法实现了 2.5% 的准确率提升。
- 在相同极端压缩条件下，其在 MobileNet V2 上相比当前最优方法实现了 2.6% 的准确率增益。
- 该方法在多种架构（包括 ResNet）上均表现出一致的性能提升，显示出广泛的适用性。
- 在所有三个维度上进行协同剪枝，相比单维或双维剪枝策略，能带来更高的模型效率和准确率。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。