[论文解读] Moonshine: Distilling with Cheap Convolutions

Elliot J. Crowley, Gavin Gray+1 more|arXiv (Cornell University)|Nov 7, 2017

Industrial Vision Systems and Defect Detection参考文献 38被引用 49

一句话总结

该论文提出了一种名为'Moonshine'的新型模型蒸馏方法，通过用更廉价的分组卷积块（如G(N)块）替换深度神经网络中的标准卷积块，同时保持原始网络架构不变。通过在蒸馏过程中使用注意力迁移，该方法实现了显著的内存压缩——参数量最多减少75%，同时保持了高精度，在CIFAR-10、CIFAR-100、ImageNet和Cityscapes上均优于直接训练的小型模型。

ABSTRACT

Many engineers wish to deploy modern neural networks in memory-limited settings; but the development of flexible methods for reducing memory use is in its infancy, and there is little knowledge of the resulting cost-benefit. We propose structural model distillation for memory reduction using a strategy that produces a student architecture that is a simple transformation of the teacher architecture: no redesign is needed, and the same hyperparameters can be used. Using attention transfer, we provide Pareto curves/tables for distillation of residual networks with four benchmark datasets, indicating the memory versus accuracy payoff. We show that substantial memory savings are possible with very little loss of accuracy, and confirm that distillation provides student network performance that is better than training that student architecture directly on data.

研究动机与目标

• 解决在可穿戴设备和嵌入式系统等资源受限设备上部署大型、内存密集型神经网络的挑战。
• 探究通过块替换实现的架构压缩是否比传统架构缩小方法（如网络变薄或变浅）更有效。
• 开发一种即插即用的蒸馏方法，无需对学生网络进行重新设计，并复用教师网络的相同超参数。
• 证明将标准卷积块替换为更廉价的分组或深度可分离卷积块，可在不损失性能的前提下提升压缩效率。

提出的方法

• 将ResNet和ERFNet中的标准残差块替换为更廉价的分组卷积块（G(N)块），这些块使用分组卷积，可选瓶颈结构。
• 采用基于注意力迁移的知识蒸馏：学生网络被训练以模仿教师网络在中间层的注意力图。
• 使用与原始教师训练相同的优化器、学习率调度和数据增强策略，确保最小化重新配置。
• 引入加权损失项，结合交叉熵损失和注意力迁移损失，通过逐层调优超参数β以平衡两项目标。
• 使用组合损失端到端训练学生网络，使其既能学习分类知识，也能学习教师网络的特征级知识。
• 保持教师网络的原始架构和深度，仅通过替换卷积块结构来减少参数量。

实验结果

研究问题

• RQ1 用更廉价的分组卷积块替换标准卷积块，是否能比架构缩小方法带来更好的模型压缩效果？
• RQ2 与从零开始训练相比，使用注意力迁移进行蒸馏是否能显著提升压缩后学生网络的性能？
• RQ3 在图像分类和语义分割任务中，参数量可减少到何种程度，同时仍保持高精度？
• RQ4 在分类和密集预测任务（如语义分割）中，该蒸馏过程是否在极少超参数调优下仍具有效性？
• RQ5 一个采用更廉价块且训练设置与教师网络相同的模型，是否能优于直接训练的小型学生网络？

主要发现

• 在CIFAR-100上，参数量为810万的Res34-G(4)学生模型达到26.61%的top-5准确率，优于参数量更少（320万）的Res18-0.5（37.20% top-5准确率），尽管参数更少。
• 在ImageNet上，Res34-G(N)学生模型将参数量从2180万减少至310万（减少85.8%），同时保持32.98%的top-5准确率，优于直接训练的小型Res34-G(N)模型（30.16% top-5准确率）。
• 在Cityscapes语义分割任务中，ERFNet-G(N)学生模型将参数量从206万减少至49万（减少76.3%），通过蒸馏实现68.11%的IoU，而从零开始训练仅达到65.29%的IoU。
• 蒸馏过程使学生网络性能优于直接在数据上训练小型架构的模型，证明了知识迁移的优势。
• 该方法实现了显著的内存节省，且精度损失极小：在CIFAR-10上，参数量减少75%（从2180万降至540万），top-1准确率仅下降1.5%。
• 该方法在设计和训练上极为高效：无需超参数调优或架构重构，复用了教师模型的相同训练协议。