[论文解读] Learning Efficient Detector with Semi-supervised Adaptive Distillation

Shitao Tang, Litong Feng+4 more|arXiv (Cornell University)|Jan 2, 2019

Advanced Neural Network Applications参考文献 20被引用 14

一句话总结

本文提出半监督自适应蒸馏（SAD），一种知识蒸馏方法，通过教师网络生成的软标签，自适应地加权单阶段目标检测器中难以学习和难以模仿的样本。通过将蒸馏损失聚焦于困难样本，并利用带有软目标的无标签数据，SAD使ResNet-50学生模型在COCO数据集上的表现超越了ResNet-101教师模型，实现90ms推理时间下36.9 mAP的性能——在速度和精度上均优于先前模型。

ABSTRACT

Knowledge Distillation (KD) has been used in image classification for model compression. However, rare studies apply this technology on single-stage object detectors. Focal loss shows that the accumulated errors of easily-classified samples dominate the overall loss in the training process. This problem is also encountered when applying KD in the detection task. For KD, the teacher-defined hard samples are far more important than any others. We propose ADL to address this issue by adaptively mimicking the teacher's logits, with more attention paid on two types of hard samples: hard-to-learn samples predicted by teacher with low certainty and hard-to-mimic samples with a large gap between the teacher's and the student's prediction. ADL enlarges the distillation loss for hard-to-learn and hard-to-mimic samples and reduces distillation loss for the dominant easy samples, enabling distillation to work on the single-stage detector first time, even if the student and the teacher are identical. Besides, ADL is effective in both the supervised setting and the semi-supervised setting, even when the labeled data and unlabeled data are from different distributions. For distillation on unlabeled data, ADL achieves better performance than existing data distillation which simply utilizes hard targets, making the student detector surpass its teacher. On the COCO database, semi-supervised adaptive distillation (SAD) makes a student detector with a backbone of ResNet-50 surpasses its teacher with a backbone of ResNet-101, while the student has half of the teacher's computation complexity. The code is avaiable at https://github.com/Tangshitao/Semi-supervised-Adaptive-Distillation

研究动机与目标

• 解决知识蒸馏在单阶段检测器中效率低下的问题，即简单样本主导损失函数，而困难样本未被充分重视。
• 在学生与教师网络相同或标注数据与无标签数据分布不一致的情况下，实现有效的知识蒸馏。
• 通过在无标签数据上使用教师模型生成的软标签，而非硬标签，提升半监督目标检测性能。
• 开发一种基于预测不确定性（难以学习）和预测差距（难以模仿）的自适应蒸馏权重机制，以增强对困难样本的蒸馏效果。

提出的方法

• 提出自适应蒸馏损失（ADL），根据两类困难样本动态调整蒸馏权重：一类是教师预测不确定性高的样本（难以学习），另一类是教师与学生预测差距大的样本（难以模仿）。
• ADL增加对难以学习和难以模仿样本的损失，同时降低对简单样本的损失，防止后者主导训练目标。
• 在监督和半监督设置中均应用ADL，利用教师模型在无标签数据上的软标签指导学生训练。
• 提出一种无标签数据选择策略，优先选择教师模型至少预测一个目标的图像（正样本响应），以提升蒸馏效率。
• 使用教师模型生成的软目标（logits）作为无标签数据的监督信号，避免硬标签效率低下问题，因为硬标签往往可被学生模型轻易预测。
• 采用统一训练方案，学生模型在标注数据上使用真实标签，在无标签数据上使用软标签，均通过ADL进行训练。

实验结果

研究问题

• RQ1 自适应蒸馏能否改善单阶段检测器中因简单样本主导损失而导致的知识蒸馏效率低下问题？
• RQ2 在学生与教师网络相同或数据分布不一致的情况下，使用教师模型在无标签数据上生成的软标签能否提升学生模型性能？
• RQ3 通过自适应损失加权聚焦于难以学习和难以模仿的样本，是否能带来比标准蒸馏更好的泛化性能？
• RQ4 当学生模型结合标注和无标签数据进行训练时，能否在自适应蒸馏下超越其教师模型的精度？
• RQ5 当标注数据与无标签数据分布不一致时，所提出的无标签数据选择方法在实际数据稀缺场景下（如正样本响应比例ρ ≤ 0.2）是否仍具有效性？

主要发现

• 使用SAD训练的ResNet-50学生检测器在COCO数据集上超越其ResNet-101教师模型，实现90ms推理时间下36.9 mAP的性能——在速度和精度上均优于RetinaNet-50-800。
• 当使用ResNext-101教师模型指导时，学生模型达到36.6 mAP，尽管其计算复杂度仅为教师的一半，仍表现更优。
• 即使学生与教师网络完全相同，ADL仍通过聚焦于困难样本的蒸馏提升了性能，证明其有效性不仅依赖于模型容量差异。
• 在半监督设置下，当无标签数据来自ImageNet（与COCO分布不同）时，该方法仍保持性能增益，尤其在选择教师模型有正样本响应的图像时效果更显著。
• 所提出的无标签数据选择方法在正样本响应比例较低时（如ρ ≤ 0.2）显著提升蒸馏性能，该场景更贴近现实中的数据稀缺情况。
• SAD使学生检测器在仅90ms推理时间内实现36.9 mAP，优于FPN-FRCN和RetinaNet-101-800在准确率与速度上的综合表现。