[论文解读] Knowledge Distillation from A Stronger Teacher

Tao Huang, Shan You+3 more|arXiv (Cornell University)|May 21, 2022

Advanced Neural Network Applications被引用 95

一句话总结

DIST 引入基于相关性的关系蒸馏，在教师更强时放宽输出严格匹配，在图像分类、目标检测和语义分割等任务上实现持续的最新技术提升。

ABSTRACT

Unlike existing knowledge distillation methods focus on the baseline settings, where the teacher models and training strategies are not that strong and competing as state-of-the-art approaches, this paper presents a method dubbed DIST to distill better from a stronger teacher. We empirically find that the discrepancy of predictions between the student and a stronger teacher may tend to be fairly severer. As a result, the exact match of predictions in KL divergence would disturb the training and make existing methods perform poorly. In this paper, we show that simply preserving the relations between the predictions of teacher and student would suffice, and propose a correlation-based loss to capture the intrinsic inter-class relations from the teacher explicitly. Besides, considering that different instances have different semantic similarities to each class, we also extend this relational match to the intra-class level. Our method is simple yet practical, and extensive experiments demonstrate that it adapts well to various architectures, model sizes and training strategies, and can achieve state-of-the-art performance consistently on image classification, object detection, and semantic segmentation tasks. Code is available at: https://github.com/hunto/DIST_KD .

研究动机与目标

• 调查为什么更强的教师会削弱常规模型蒸馏（vanilla KD），以及如何解决。
• 提出一种基于关系的蒸馏损失，保持教师与学生之间的关系而非精确输出。
• 将关系蒸馏扩展到类内关系，以捕捉实例级别的相似性。
• 在多样化的架构、策略和视觉任务（分类、检测、分割）上展示有效性。

提出的方法

• 用基于关系的损失替代 KL 散度匹配，通过皮尔逊相关保持类间关系。
• 将类间关系损失 L_inter 定义为跨一个批次的教师与学生预测向量之间的平均皮尔逊距离。
• 将类内关系损失 L_intra 定义为按列比较教师与学生预测矩阵跨类的平均皮尔逊距离。
• 优化联合训练目标 L_tr = alpha * L_cls + beta * L_inter + gamma * L_intra。
• 表明匹配相对关系而非精确概率在教师更强和训练策略更强时能带来稳健的蒸馏。

实验结果

研究问题

• RQ1 更强的教师如何影响标准知识蒸馏的性能？
• RQ2 在教师更强时，保持教师与学生预测之间的关系（而非精确值）是否能提升 KD？
• RQ3 类间关系蒸馏与类内关系蒸馏分开与共同的影响是什么？
• RQ4 所提 DIST 损失在不同架构和训练策略下是否在图像分类、目标检测和语义分割上均有效？

主要发现

• DIST 在 ImageNet 上跨多对师生（如 ResNet-18 学生对 ResNet-34 教师）优于常规模型 KD 和多种最先进 KD 方法：Top-1 72.07%（DIST）对比 KD 的 69.76%。
• 随着教师变大，DIST 获得更大提升（如ResNet-18 对 ResNet-34：基线+2.31，较 KD +0.86；ResNet-18 对 ResNet-152：较 KD +1.93）。
• 在 Swin-T 上使用更强的 Swin-L 教师时，DIST 达到 82.3% Top-1，超越常规 KD 1%。
• 在强训练策略下，DIST 对 CIFAR-100 和 ImageNet 的性能提升稳定，并且在 COCO 目标检测和 Cityscapes 语义分割上也给出具有竞争力的结果。
• 消融研究表明类间与类内关系均有助于提升，二者结合效果最好。
• 仅使用 KD 损失（无真实标签）进行训练也能通过 DIST 获得提升，表明关系信号的蒸馏效果良好。