[论文解读] CrossKD: Cross-Head Knowledge Distillation for Object Detection

Jiabao Wang, Yumin Chen+4 more|arXiv (Cornell University)|Jun 20, 2023

Advanced Neural Network Applications被引用 6

一句话总结

CrossKD 提出了一种用于目标检测的新型知识蒸馏框架，通过将学生检测头的中间特征传递到教师检测头，缓解了真实标签与教师预测之间的冲突，实现了更一致的预测模仿。这种跨头蒸馏将基于 YOLOv5 的 GFL-R50 提升至 COCO 上 43.7 AP，超越了所有先前的 KD 方法。

ABSTRACT

Knowledge Distillation (KD) has been validated as an effective model compression technique for learning compact object detectors. Existing state-of-the-art KD methods for object detection are mostly based on feature imitation. In this paper, we present a general and effective prediction mimicking distillation scheme, called CrossKD, which delivers the intermediate features of the student's detection head to the teacher's detection head. The resulting cross-head predictions are then forced to mimic the teacher's predictions. This manner relieves the student's head from receiving contradictory supervision signals from the annotations and the teacher's predictions, greatly improving the student's detection performance. Moreover, as mimicking the teacher's predictions is the target of KD, CrossKD offers more task-oriented information in contrast with feature imitation. On MS COCO, with only prediction mimicking losses applied, our CrossKD boosts the average precision of GFL ResNet-50 with 1x training schedule from 40.2 to 43.7, outperforming all existing KD methods. In addition, our method also works well when distilling detectors with heterogeneous backbones. Code is available at https://github.com/jbwang1997/CrossKD.

研究动机与目标

• 为解决知识蒸馏在目标检测中预测模仿与特征模仿之间的性能差距。
• 解决预测模仿中监督信号冲突的问题，即真实标签与教师预测经常不一致。
• 通过对齐学生与教师网络的优化目标，提升蒸馏效率。
• 仅使用预测模仿损失，不依赖复杂的特征模仿，实现最先进性能。

提出的方法

• CrossKD 将学生检测头的中间特征传递到教师检测头，生成跨头预测。
• 蒸馏损失应用于跨头预测与原始教师预测之间，而非直接在学生与教师之间。
• 该设计将 KD 损失与学生原始检测头解耦，避免优化过程中产生冲突梯度。
• 方法使用特定任务的损失函数：回归使用 GIoU，分类使用带 Sigmoid 调制的改进 QFL。
• 由于共享网络组件，跨头预测与教师输出更一致，从而提升训练稳定性。
• 该方法与特征模仿正交，可与 PKD 等方法结合，进一步提升性能。

实验结果

研究问题

• RQ1 为何在目标检测知识蒸馏中，预测模仿的性能劣于特征模仿？
• RQ2 预测模仿中真实标签目标与蒸馏目标之间的性能差距由何造成？
• RQ3 能否通过将 KD 损失与学生检测头解耦来提升训练稳定性和性能？
• RQ4 将特征从学生传递到教师检测头是否能提供比标准 KD 更一致的监督？
• RQ5 仅使用预测模仿的简单方法能否超越基于特征模仿的最先进 KD 方法？

主要发现

• CrossKD 仅使用预测模仿损失，便在 MS COCO 上实现 43.7 AP（GFL-R50），相比基线提升 3.5 AP。
• 该方法在所有现有目标检测 KD 方法中表现最优，包括基于特征模仿的方法。
• 与 PKD 结合后，CrossKD 达到 43.9 AP，证明其与特征模仿方法具有正交性与互补性。
• 消融实验表明，当应用于正负区域时，QFL 损失相比 BCE 提升 2.5 AP。
• 可视化结果证实，CrossKD 生成的检测结果优于教师模型，即使教师模型预测表现不佳。
• 该方法可实现更快的训练收敛速度，并避免由冲突监督信号引起训练不稳定。