[论文解读] MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation

Benlin Liu, Yongming Rao+3 more|arXiv (Cornell University)|Aug 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用 8

一句话总结

MetaDistiller 提出了一种元学习的、自顶向下的蒸馏方法，为学生网络的中间层生成更兼容的软标签，从而无需使用独立的教师模型。通过使用标签生成器融合深层特征图，并利用元学习进行优化，该方法实现了最先进的自蒸馏性能，在 CIFAR-100 上将 ResNet 准确率提升最高达 1.3%，在 ImageNet 上提升最高达 1.1%。

ABSTRACT

Knowledge Distillation (KD) has been one of the most popu-lar methods to learn a compact model. However, it still suffers from highdemand in time and computational resources caused by sequential train-ing pipeline. Furthermore, the soft targets from deeper models do notoften serve as good cues for the shallower models due to the gap of com-patibility. In this work, we consider these two problems at the same time.Specifically, we propose that better soft targets with higher compatibil-ity can be generated by using a label generator to fuse the feature mapsfrom deeper stages in a top-down manner, and we can employ the meta-learning technique to optimize this label generator. Utilizing the softtargets learned from the intermediate feature maps of the model, we canachieve better self-boosting of the network in comparison with the state-of-the-art. The experiments are conducted on two standard classificationbenchmarks, namely CIFAR-100 and ILSVRC2012. We test various net-work architectures to show the generalizability of our MetaDistiller. Theexperiments results on two datasets strongly demonstrate the effective-ness of our method.

研究动机与目标

• 为解决顺序式教师-学生蒸馏流水线效率低下和计算成本过高的问题。
• 克服知识蒸馏中深层教师模型与浅层学生网络之间的兼容性差距。
• 通过生成更有效的、与层相关的软目标，而非依赖最终层输出，来改进自蒸馏。
• 实现端到端的、自增强的训练，无需外部教师模型或迭代误差放大。

提出的方法

• 引入一个标签生成器，通过自顶向下的方式融合深层阶段的特征图，为每个中间层生成软目标。
• 通过双层元学习优化标签生成器，使其能够学习与各层容量相匹配的兼容软目标。
• 该方法执行自顶向下的蒸馏，其中高层语义特征指导浅层的训练。
• 软目标可自动生成，无需超参数调优（如温度），与传统 KD 不同。
• 在推理阶段，标签生成器被丢弃，从而保持推理效率。
• 该方法可端到端应用于多种主干网络架构，包括 ResNet18、ResNet50 和 ResNet101。

实验结果

研究问题

• RQ1 我们能否在不使用独立教师模型的前提下，维持或提升蒸馏性能？
• RQ2 如何为浅层生成更兼容的软目标，使其更好地匹配其表征能力？
• RQ3 元学习能否用于自动适应不同网络深度和层的软目标生成？
• RQ4 是否可从深层特征进行自顶向下蒸馏，以超越使用最终层输出的标准自蒸馏，提升泛化能力？
• RQ5 生成的软目标是否能提供超越单热编码真实标签的互补知识？

主要发现

• 与标准自蒸馏相比，MetaDistiller 在 CIFAR-100 上将 ResNet18 准确率提升了 1.04%，与仅使用硬标签的训练相比提升了 0.99%。
• 在 ImageNet 上，MetaDistiller 相较于标准自蒸馏提升了 1.1% 的准确率，相较于仅使用硬标签的训练提升了 0.8%。
• 在 CIFAR-100 上，与标准自蒸馏相比，MetaDistiller 将 ResNet101 准确率提升了 0.85%，与仅使用硬标签的训练相比提升了 0.75%。
• 生成的软目标比最终层输出更平滑，也更适配浅层，后者更接近单热分布。
• 该方法优于硬标签和最终层软标签，表明生成的目标包含超越分类监督的有用归纳偏置。
• 可视化结果证实，浅层的软目标比深层的更柔和，反映了其更通用的特征表示。