[论文解读] Localization Distillation for Dense Object Detection

Zhaohui Zheng, Rongguang Ye+5 more|arXiv (Cornell University)|Feb 24, 2021

Advanced Neural Network Applications参考文献 64被引用 6

一句话总结

该论文提出了一种名为定位蒸馏（Localization Distillation, LD）的新知识蒸馏方法，专为密集目标检测设计。该方法将边界框回归重新定义为概率分布匹配，以高效地将教师网络的定位知识迁移至学生网络。通过解耦语义与定位知识蒸馏，并引入有价值的定位区域（Valuable Localization Region, VLR）实现选择性知识迁移，LD在不增加推理成本的前提下实现了最先进性能——在单尺度1×训练设置下，使用ResNet-50骨干网络时，COCO数据集上的AP从40.1提升至42.1。

ABSTRACT

Knowledge distillation (KD) has witnessed its powerful capability in learning compact models in object detection. Previous KD methods for object detection mostly focus on imitating deep features within the imitation regions instead of mimicking classification logit due to its inefficiency in distilling localization information and trivial improvement. In this paper, by reformulating the knowledge distillation process on localization, we present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Moreover, we also heuristically introduce the concept of valuable localization region that can aid to selectively distill the semantic and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and localization knowledge distillation is more important and efficient than semantic knowledge for distilling object detectors. Our distillation scheme is simple as well as effective and can be easily applied to different dense object detectors. Experiments show that our LD can boost the AP score of GFocal-ResNet-50 with a single-scale 1x training schedule from 40.1 to 42.1 on the COCO benchmark without any sacrifice on the inference speed. Our source code and trained models are publicly available at https://github.com/HikariTJU/LD

研究动机与目标

• 为解决现有知识蒸馏（KD）方法在密集目标检测中效率低下的问题，特别是其对特征模仿的依赖以及对定位知识的忽视。
• 探究是否可通过恰当重构，使此前被认为在目标检测中无效的logit模仿方法，优于基于特征的蒸馏。
• 开发一种基于区域特异性效用的机制，选择性地蒸馏语义与定位知识，以提升蒸馏效率与性能。
• 证明定位知识蒸馏比语义知识蒸馏在提升目标检测器精度方面更为关键且高效。
• 构建一种即插即用的蒸馏方法，在不引入推理开销的前提下，提升多种密集目标检测器的性能。

提出的方法

• 通过将边界框表示为概率分布而非狄拉克δ函数，重新定义目标检测蒸馏过程，从而实现更丰富的定位知识迁移。
• 提出一种新颖的定位蒸馏（LD）模块，用于匹配教师与学生网络预测边界框的概率分布。
• 引入“有价值的定位区域”（Valuable Localization Region, VLR）概念，即一种启发式机制，用于识别并优先处理对定位知识迁移最有益的区域。
• 将知识蒸馏解耦为两条独立路径：通过标准logit模仿实现语义知识蒸馏，通过LD实现定位知识蒸馏，二者在不同空间区域应用。
• 采用独立蒸馏区域策略，仅在VLR识别出的高价值区域中应用LD，从而提升训练效率与性能。
• 将LD无缝集成至现有密集检测器（如GFocal、RetinaNet、FCOS）中，无需架构修改或引入额外参数。

Figure 2 : Existing KD pipelines for object detection. ① Logit Mimicking: classification KD in [ 20 ] . ② Feature Imitation: recent popular methods distill intermediate features based on various distillation regions, which usually need adaptive layers to align the size of the student’s feature map.

实验结果

研究问题

• RQ1 当在定位任务中恰当重构时，此前被认为在目标检测中无效的logit模仿方法，是否能优于基于特征的蒸馏？
• RQ2 定位知识蒸馏是否比语义知识蒸馏在提升目标检测器性能方面更为重要且高效？
• RQ3 基于有价值定位区域的选择性蒸馏策略，是否能提升目标检测中知识蒸馏的效率与精度？
• RQ4 与联合式混合蒸馏（在特征图上联合蒸馏）相比，解耦语义与定位知识迁移是否能带来更好的性能？
• RQ5 LD是否可普遍应用于多种密集目标检测器，且在不引入推理开销的前提下实现一致的性能提升？

主要发现

• 当在定位任务中恰当重构时，logit模仿方法在目标检测蒸馏中可优于传统的特征模仿方法。
• 定位知识蒸馏在提升目标检测器性能方面，比语义知识蒸馏更有效且更高效。
• 所提出的LD方法在单尺度1×训练设置下，将GFocal-ResNet-50在COCO上的AP从40.1提升至42.1，实现+2.0的AP增益。
• 在多尺度2×训练设置下，LD使使用ResNeXt-101-32x4d-DCN主干网络的GFocalV2在COCO test-dev 2019上达到50.5 AP，超越所有现有检测器在相同设置下的表现。
• 该方法在多种密集检测器（如RetinaNet、FCOS、ATSS）上实现了约2 AP的一致性提升，且未增加模型参数量或推理时间。
• VLR机制能有效识别对定位学习最有益的区域，从而实现选择性且高效的蒸馏。

Figure 3 : Illustration of localization distillation (LD) for an edge $e\in\mathcal{B}=\{t,b,l,r\}$ . Only the localization branch is visualized here. $\mathcal{S}(\cdot,\tau)$ is the generalized SoftMax function with temperature $\tau$ . For a given detector, we first switch the bounding box repres