[论文解读] Cascaded channel pruning using hierarchical self-distillation

Roy Miles, Krystian Mikolajczyk|arXiv (Cornell University)|Aug 16, 2020

Evolutionary Algorithms and Applications参考文献 32被引用 7

一句话总结

该论文提出了一种基于分层自蒸馏的级联通道剪枝方法，其中多个具有共享权重和架构的教师模型（TAs）通过顺序剪枝引导学生模型。通过利用更高容量教师模型的代理梯度，该方法实现了出色的精度保持和模型压缩效果——在ImageNet上使用ResNet50时，参数量最多减少3.6倍，FLOPs减少3.7倍，同时保持接近基线的精度。

ABSTRACT

In this paper, we propose an approach for filter-level pruning with hierarchical knowledge distillation based on the teacher, teaching-assistant, and student framework. Our method makes use of teaching assistants at intermediate pruning levels that share the same architecture and weights as the target student. We propose to prune each model independently using the gradient information from its corresponding teacher. By considering the relative sizes of each student-teacher pair, this formulation provides a natural trade-off between the capacity gap for knowledge distillation and the bias of the filter saliency updates. Our results show improvements in the attainable accuracy and model compression across the CIFAR10 and ImageNet classification tasks using the VGG16and ResNet50 architectures. We provide an extensive evaluation that demonstrates the benefits of using a varying number of teaching assistant models at different sizes.

研究动机与目标

• 为解决在资源受限设备上实现高比例模型剪枝并最小化精度损失的挑战。
• 克服依赖退火调度和微调循环的迭代剪枝流程的局限性。
• 减少滤波器显著性更新中的偏差，并最小化剪枝过程中知识蒸馏的容量差距。
• 实现无需预训练中间模型的可扩展端到端剪枝模型训练。
• 提升在CIFAR10和ImageNet上VGG16与ResNet50的参数和FLOP效率。

提出的方法

• 该方法采用学生-教师对的分层结构，其中每个学生与其对应的教师模型（TA）共享架构和权重。
• 通过使用来自更高容量TA的代理梯度，利用直通估计器更新剪枝掩码。
• 每个TA同时提供知识蒸馏和梯度信号，以指导滤波器重要性评分，从而减少显著性更新中的偏差。
• 剪枝过程为级联式：从最大模型开始，每个学生独立地使用其对应TA的梯度进行剪枝。
• 分层中的所有模型通过共享卷积权重、批归一化层，并使用独立剪枝掩码进行联合训练。
• 该方法通过联合训练掩码和权重避免了迭代微调，采用自适应优化（如RMSProp）以实现稳定收敛。

实验结果

研究问题

• RQ1 分层自蒸馏框架是否能在无需迭代微调的情况下，提升通道剪枝的精度与压缩率？
• RQ2 教师模型数量如何影响剪枝过程中容量差距与显著性梯度偏差之间的权衡？
• RQ3 在教师模型与学生模型之间共享权重，对内存效率和性能有何影响？
• RQ4 级联剪枝能否在ImageNet等大规模数据集上实现高倍率压缩（如3.6倍）并保持极低的精度损失？
• RQ5 在FLOP减少和参数效率方面，该方法与当前最先进滤波器剪枝技术相比表现如何？

主要发现

• 在CIFAR10上使用VGG16时，该方法实现了参数量1.9倍的减少和FLOPs 2.3倍的减少，且top-1精度相比基线提升了0.10%。
• 在ImageNet上使用ResNet50时，该方法实现了参数量3.6倍的减少和FLOPs 3.7倍的减少，top-1精度仅下降2.5%。
• 使用两个教师模型在高剪枝率下提升了性能，证明了中间容量模型在减小学生-教师容量差距方面的优势。
• 在CIFAR10上使用VGG16时，该方法实现了约15倍的压缩率和约6倍的FLOP减少，且精度损失可忽略不计。
• 消融实验表明，引入教师模型显著提升了精度，尤其是在高剪枝率下，这得益于更优的梯度引导。
• 与SGD相比，使用RMSProp可实现更快收敛，并在各层间实现更均匀的剪枝，从而整体提升性能。