[论文解读] Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation

Gang Li, Xiang Li+4 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Neural Network Applications被引用 5

一句话总结

本文提出Rank Mimicking（RM）与Prediction-guided Feature Imitation（PFI）用于目标检测中的知识蒸馏，解决了教师模型与学生模型之间关键的行为差异。RM将教师模型的候选框排序知识迁移至学生模型，而PFI利用预测差异来引导高效特征模仿，在使用RetinaNet-ResNet50时于MS COCO上实现了40.4%的mAP，较之前方法最高提升0.7% AP。

ABSTRACT

Knowledge Distillation (KD) is a widely-used technology to inherit information from cumbersome teacher models to compact student models, consequently realizing model compression and acceleration. Compared with image classification, object detection is a more complex task, and designing specific KD methods for object detection is non-trivial. In this work, we elaborately study the behaviour difference between the teacher and student detection models, and obtain two intriguing observations: First, the teacher and student rank their detected candidate boxes quite differently, which results in their precision discrepancy. Second, there is a considerable gap between the feature response differences and prediction differences between teacher and student, indicating that equally imitating all the feature maps of the teacher is the sub-optimal choice for improving the student's accuracy. Based on the two observations, we propose Rank Mimicking (RM) and Prediction-guided Feature Imitation (PFI) for distilling one-stage detectors, respectively. RM takes the rank of candidate boxes from teachers as a new form of knowledge to distill, which consistently outperforms the traditional soft label distillation. PFI attempts to correlate feature differences with prediction differences, making feature imitation directly help to improve the student's accuracy. On MS COCO and PASCAL VOC benchmarks, extensive experiments are conducted on various detectors with different backbones to validate the effectiveness of our method. Specifically, RetinaNet with ResNet50 achieves 40.4% mAP in MS COCO, which is 3.5% higher than its baseline, and also outperforms previous KD methods.

研究动机与目标

• 探究教师与学生目标检测模型之间的行为差异，这些差异导致性能差距。
• 通过识别检测排序与特征-预测对齐中的关键差异，解决传统知识蒸馏在目标检测中表现不佳的问题。
• 提出Rank Mimicking（RM），将候选框排序知识作为新型蒸馏目标进行迁移。
• 设计Prediction-guided Feature Imitation（PFI），利用预测差异作为动态权重，使特征模仿与预测精度对齐。
• 在MS COCO与PASCAL VOC基准上实现SOTA性能，且仅需极少的架构改动。

提出的方法

• Rank Mimicking（RM）将教师模型中候选框的排序分布（基于分类分数或预测框质量）迁移至学生模型，取代传统的软标签蒸馏。
• PFI引入一种逐位置的损失加权机制，利用教师与学生预测之间的差异（P_dif）来指导哪些特征图最需被模仿。
• 该方法计算特征差异（F_dif）与预测差异（P_dif），并使用P_dif作为自适应权重，优先在预测差异最大的区域进行特征模仿。
• 该框架应用于RetinaNet等单阶段检测器，采用多种主干网络与标准蒸馏训练协议。
• 该方法避免使用手工设计的掩码或基于真实标注的区域选择，转而依赖模型行为来引导模仿过程。
• 在MS COCO与PASCAL VOC上使用ResNet-50、ResNet-101与ResNet-152主干网络进行实验，以验证方法的泛化能力。

实验结果

研究问题

• RQ1 尽管特征响应相似，为何学生检测器的性能仍低于教师模型？
• RQ2 教师与学生模型在候选检测框排序上存在何种差异？该差异能否作为蒸馏知识加以利用？
• RQ3 学生-教师模型对之间的特征响应差异与预测差异之间存在何种关系？
• RQ4 能否利用预测差异来引导更有效且高效的特征模仿？
• RQ5 用基于排序的知识迁移替代软标签蒸馏，是否能提升检测准确率？

主要发现

• 使用ResNet50的RetinaNet在MS COCO上实现40.4%的mAP，较基线模型提升3.5%，较之前SOTA方法DeFeat提升0.7%。
• Rank Mimicking（RM）始终优于传统软标签蒸馏，在同时模仿分类分数与框质量排序时，mAP最高提升1.4%。
• Prediction-guided Feature Imitation（PFI）在mAP上至少优于手工设计的掩码（如正/负样本、GT框）0.5%，证明其自适应模仿能力更优。
• PFI通过聚焦于预测差异最大的区域，减少低效的梯度更新，从而提升训练效率与准确性。
• 在PASCAL VOC上，该方法将基于ResNet50的RetinaNet mAP从81.1%提升至82.2%，达到SOTA性能。
• 即使未使用RoIAlign进行特征重采样，该方法仍分别优于GID、Fitnet与FGFI 0.5%、2.2%与1.0%。