[论文解读] Distilling Object Detectors with Task Adaptive Regularization

Ruoyu Sun, Fuhui Tang+3 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Neural Network Applications参考文献 31被引用 44

一句话总结

该论文提出一个对象检测器的任务自适应蒸馏框架，利用区域提议共享和模块特定蒸馏损失（骨干网络、分类头和边框回归）以及一个蒸馏衰减策略，在 VOC 上使用 ResNet-101–50 学生模型达到 74.5 mAP，超过教师。

ABSTRACT

Current state-of-the-art object detectors are at the expense of high computational costs and are hard to deploy to low-end devices. Knowledge distillation, which aims at training a smaller student network by transferring knowledge from a larger teacher model, is one of the promising solutions for model miniaturization. In this paper, we investigate each module of a typical detector in depth, and propose a general distillation framework that adaptively transfers knowledge from teacher to student according to the task specific priors. The intuition is that simply distilling all information from teacher to student is not advisable, instead we should only borrow priors from the teacher model where the student cannot perform well. Towards this goal, we propose a region proposal sharing mechanism to interflow region responses between the teacher and student models. Based on this, we adaptively transfer knowledge at three levels, \emph{i.e.}, feature backbone, classification head, and bounding box regression head, according to which model performs more reasonably. Furthermore, considering that it would introduce optimization dilemma when minimizing distillation loss and detection loss simultaneously, we propose a distillation decay strategy to help improve model generalization via gradually reducing the distillation penalty. Experiments on widely used detection benchmarks demonstrate the effectiveness of our method. In particular, using Faster R-CNN with FPN as an instantiation, we achieve an accuracy of $39.0\%$ with Resnet-50 on COCO dataset, which surpasses the baseline $36.3\%$ by $2.7\%$ points, and even better than the teacher model with $38.5\%$ mAP.

研究动机与目标

• 在不牺牲性能的前提下，推动对重量级对象检测器的模型小型化。
• 开发一个面向检测器模块（骨干、分类头、回归头）的通用蒸馏框架。
• 利用区域提议共享来比较教师/学生在各区域上的泛化能力。
• 引入蒸馏衰减策略以提升训练稳定性和泛化能力。
• 在标准检测基准（VOC、COCO）上，对 Faster R-CNN 与 RetinaNet 骨干进行验证，证明其有效性。

提出的方法

• 在教师与学生之间引入区域提议共享，以传递区域级响应。
• 骨干蒸馏使用二维高斯掩码来强调真值框内的前景。
• 分类头蒸馏对正样本建议使用教师的软标签，对应真值的硬标签。
• 边框回归蒸馏仅在 IoU 标准有利于教师引导时才使用来自教师的自适应目标。
• 将蒸馏损失与检测损失作为多任务目标结合起来，并应用蒸馏衰减策略以逐步降低蒸馏压力。
• 在 VOC 与 COCO 上对 Faster R-CNN（带 FPN）与 RetinaNet 进行实证验证并报告 mAP 提升。

实验结果

研究问题

• RQ1 检测器特定的知识蒸馏是否可以对任务和模块（骨干、分类、回归）进行自适应？
• RQ2 区域提议共享是否能够促进跨模型的更好泛化与有效蒸馏？
• RQ3 逐步降低的蒸馏惩罚是否能改善收敛性和最终检测性能？
• RQ4 基于高斯的骨干蒸馏与自适应头蒸馏相较于简单的特征仿真的对象检测效果如何？

主要发现

• 在 VOC 2007，使用 R-101（教师）与 R-50（学生），蒸馏得到的 mAP 为 74.5，高于教师的 74.3。
• 使用高斯掩码的骨干蒸馏在 mAP 上大约提升 2.4 个百分点。
• 分类头蒸馏和回归头蒸馏各自带来显著提升（分别为 3.2 和 3.4 点）。
• 蒸馏衰减使 VOC 性能从 73.8 提升到 74.5 mAP，超过教师。
• 在 COCO 上，蒸馏提升了 RetinaNet 和 Faster R-CNN 的基线，并能够达到或优于更大教师的性能（例如 Retina-101 将 Retina-50 提升 2.3 mAP；R-152-50 达到 39.9 mAP，超越部分更大的教师）。