[论文解读] Distilling Object Detectors via Decoupled Features

Jianyuan Guo, Kai Han+5 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Neural Network Applications参考文献 65被引用 26

一句话总结

本文提出 DeFeat，一种用于目标检测器的知识蒸馏方法，它将特征区域（对象与背景）以及正负 RoI 提案解耦，以更好地将知识从教师传递给学生，在 COCO 和 VOC 数据集上的单阶段与两阶段检测器性能提升。

ABSTRACT

Knowledge distillation is a widely used paradigm for inheriting information from a complicated teacher network to a compact student network and maintaining the strong performance. Different from image classification, object detectors are much more sophisticated with multiple loss functions in which features that semantic information rely on are tangled. In this paper, we point out that the information of features derived from regions excluding objects are also essential for distilling the student detector, which is usually ignored in existing approaches. In addition, we elucidate that features from different regions should be assigned with different importance during distillation. To this end, we present a novel distillation algorithm via decoupled features (DeFeat) for learning a better student detector. Specifically, two levels of decoupled features will be processed for embedding useful information into the student, i.e., decoupled features from neck and decoupled proposals from classification head. Extensive experiments on various detectors with different backbones show that the proposed DeFeat is able to surpass the state-of-the-art distillation methods for object detection. For example, DeFeat improves ResNet50 based Faster R-CNN from 37.4% to 40.9% mAP, and improves ResNet50 based RetinaNet from 36.5% to 39.7% mAP on COCO benchmark. Our implementation is available at https://github.com/ggjy/DeFeat.pytorch.

研究动机与目标

• 通过在中间特征中同时考虑对象与背景区域，激发对对象检测器的改进知识传递。
• 证明背景区域可以补充对象区域用于蒸馏，挑战背景无用的假设。
• 提出一个解耦特征蒸馏框架（DeFeat），在颈部（FPN）特征和 RoI 对齐的提案上工作。
• 在 COCO 和 VOC 数据集上，对两阶段和一阶段检测器及多种骨干网络展示其有效性。

提出的方法

• 使用真值掩模将中间 FPN 特征解耦为对象区域和背景区域，并应用单独的模仿损失（等式 5）。
• 在分类头中将区域提案解耦为正样本（对象）和负样本（背景），并使用单独的 KL 散度损失（等式 8、等式 9）进行蒸馏。
• 将解耦特征蒸馏（L_fea）、解耦分类蒸馏（L_cls）和标准检测损失（L_reg、L_rpn）结合起来进行端到端训练（等式 3）。
• 采用教师–学生框架，带自适应权重（α_obj、α_bg、β_obj、β_bg）和温度缩放（T_obj、T_bg）以平衡梯度幅度（等式 5、等式 8）。
• 证明在 COCO 和 VOC 上对 Faster R-CNN/FPN（二阶段）和 RetinaNet（一阶段）均适用。

实验结果

研究问题

• RQ1 颈部特征中的背景区域是否有助于更有效的目标检测器知识蒸馏？
• RQ2 在分类头中解耦对象/正样本与背景/负样本的提案是否提升蒸馏的检测性能？
• RQ3 DeFeat 是否适用于具有不同骨干网络的两阶段和一阶段检测器？
• RQ4 与以往的 KD 方法相比，解耦特征在 COCO 与 VOC 基准上的定量影响是多少？

主要发现

• DeFeat 将 Faster R-CNN (ResNet50-FPN) 的 COCO mAP 从 37.4% 提升到 40.9%，以及 RetinaNet (ResNet50-FPN) 的 COCO mAP 从 36.5% 提升到 39.7%。
• 解耦的颈部特征（对象和背景）相比仅解耦提案获得更大收益，骨干蒸馏贡献了最佳结果（COCO 40.9% mAP）。
• 在分类头中解耦的区域提案（正/负）带来更好的梯度平衡和更高的 mAP，相比将所有提案一视同仁（如在某些配置下 40.9% vs 40.5%）。
• 在 Pascal VOC 上，带有教师–学生设置的 DeFeat 实现 82.28% mAP（基线学生为 80.53%）。
• DeFeat 在 COCO 上在多种设置下持续优于 FGFI 和 TADF 基线（例如 RetinaNet/FPN 变体的 39.7–40.9% mAP）。
• 消融研究表明对象区域驱动定位，背景区域降低假阳性，两者共同推动总体提升。