[论文解读] Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation

Mingi Ji, Seungjae Shin+3 more|arXiv (Cornell University)|Mar 15, 2021

Advanced Neural Network Applications参考文献 39被引用 16

一句话总结

本文提出了一种新颖的自知识蒸馏方法——通过自我知识蒸馏进行特征精炼（FRSKD），该方法利用辅助自教师网络对特征图和软标签进行精炼，以实现对学生分类器的改进，从而在图像分类和语义分割任务中保持局部空间信息，提升性能。FRSKD在多个基准测试中取得了最先进结果，尤其在结合数据增强技术时表现更优。

ABSTRACT

Knowledge distillation is a method of transferring the knowledge from a pretrained complex teacher model to a student model, so a smaller network can replace a large teacher network at the deployment stage. To reduce the necessity of training a large teacher model, the recent literatures introduced a self-knowledge distillation, which trains a student network progressively to distill its own knowledge without a pretrained teacher network. While Self-knowledge distillation is largely divided into a data augmentation based approach and an auxiliary network based approach, the data augmentation approach looses its local information in the augmentation process, which hinders its applicability to diverse vision tasks, such as semantic segmentation. Moreover, these knowledge distillation approaches do not receive the refined feature maps, which are prevalent in the object detection and semantic segmentation community. This paper proposes a novel self-knowledge distillation method, Feature Refinement via Self-Knowledge Distillation (FRSKD), which utilizes an auxiliary self-teacher network to transfer a refined knowledge for the classifier network. Our proposed method, FRSKD, can utilize both soft label and feature-map distillations for the self-knowledge distillation. Therefore, FRSKD can be applied to classification, and semantic segmentation, which emphasize preserving the local information. We demonstrate the effectiveness of FRSKD by enumerating its performance improvements in diverse tasks and benchmark datasets. The implemented code is available at https://github.com/MingiJi/FRSKD.

研究动机与目标

• 解决现有自知识蒸馏方法因数据增强导致局部空间信息丢失，或因辅助网络过于简单而无法生成精炼知识的局限性。
• 实现在语义分割等需要保留局部特征细节的视觉任务中有效知识蒸馏。
• 开发一种无需依赖预训练教师模型的自知识蒸馏框架，同时利用软标签和特征图蒸馏。
• 通过专用自教师网络生成的精炼特征图和软标签，提升模型性能。

提出的方法

• 引入一个辅助自教师网络，处理原始分类器的特征图，并生成用于蒸馏回学生分类器的精炼特征。
• 采用双路径架构，通过自上而下和自下而上的连接实现特征精炼与知识迁移。
• 在自教师网络中引入通道维度调整，以减少参数量，同时保持特征精炼能力。
• 同时使用软标签蒸馏（来自logits）和特征图蒸馏（来自中间层）来指导学生网络的训练。
• 采用自适应超参数调度（预热和退火）控制蒸馏强度，避免训练初期的干扰。
• 通过增强特征学习效果，支持与Mixup和Cutmix等数据增强技术的兼容性。

实验结果

研究问题

• RQ1 自教师网络是否能在无预训练教师模型的前提下，有效精炼特征图和软标签，从而提升学生网络性能？
• RQ2 在语义分割等任务中，所提出的FRSKD方法是否比基于数据增强的自知识蒸馏更好地保留局部空间信息？
• RQ3 同时整合软标签与特征图蒸馏对多样化视觉任务的性能影响如何？
• RQ4 当FRSKD与Mixup和Cutmix等标准数据增强技术结合时，性能提升程度如何？

主要发现

• FRSKD在CIFAR-100、TinyImageNet和FGVC等图像分类基准上达到最先进性能，优于现有自知识蒸馏方法。
• 在MIT67数据集上，FRSKD结合ResNet18的准确率高于基线模型，证明其在细粒度分类任务中的有效性。
• 与数据增强技术结合时，FRSKD表现出显著性能提升：例如，在CIFAR-100和TinyImageNet上使用Mixup和Cutmix时，准确率提升尤为明显。
• 消融实验表明，软标签蒸馏与特征图蒸馏均对性能提升有贡献，其中特征蒸馏在保留空间细节方面尤为有效。
• 敏感性分析显示，FRSKD对超参数变化具有鲁棒性，尽管最优值因数据集而异，但α ∈ {1,2,3}和β ∈ {50,100,200,500}可获得优异结果。
• 定性注意力图对比显示，分类器与自教师网络在训练过程中逐步聚焦于主要物体，且在后期训练阶段注意力分布的差异减小。