[论文解读] Instance-Conditional Knowledge Distillation for Object Detection

Zijian Kang, Peizhen Zhang+3 more|arXiv (Cornell University)|Oct 25, 2021

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

本文提出实例条件知识蒸馏（ICD），一种新颖的框架，通过使用实例感知注意力机制，选择性地从教师模型向学生检测器蒸馏知识，从而同时提升定位与分类性能。通过将每个目标实例视为查询，并利用注意力机制加权相关特征，ICD 在 COCO 上实现了 3.3 mAP 的提升，且使用 ResNet-50 作为学生网络的性能超越了使用 ResNet-101 作为教师网络的模型。

ABSTRACT

Knowledge distillation has shown great success in classification, however, it is still challenging for detection. In a typical image for detection, representations from different locations may have different contributions to detection targets, making the distillation hard to balance. In this paper, we propose a conditional distillation framework to distill the desired knowledge, namely knowledge that is beneficial in terms of both classification and localization for every instance. The framework introduces a learnable conditional decoding module, which retrieves information given each target instance as query. Specifically, we encode the condition information as query and use the teacher's representations as key. The attention between query and key is used to measure the contribution of different features, guided by a localization-recognition-sensitive auxiliary task. Extensive experiments demonstrate the efficacy of our method: we observe impressive improvements under various settings. Notably, we boost RetinaNet with ResNet-50 backbone from 37.4 to 40.7 mAP (+3.3) under 1x schedule, that even surpasses the teacher (40.4 mAP) with ResNet-101 backbone under 3x schedule. Code has been released on https://github.com/megvii-research/ICD.

研究动机与目标

• 为解决目标检测知识蒸馏中特征来自不同空间位置对检测性能贡献不均等问题，该问题存在不平衡与模糊性。
• 通过显式识别并传输与每个检测实例最相关的知识，而非对所有特征统一应用蒸馏，从而提升蒸馏质量。
• 开发一种可学习的、基于查询的机制，动态从教师网络的中间表征中检索特定于实例的知识。
• 通过设计一个对定位与识别均敏感的辅助任务，优化知识检索过程，增强解码器定位有用特征的能力。
• 使小型学生检测器在资源受限环境下，其精度能够超越更大的教师模型。

提出的方法

• 引入一种条件解码模块，将每个检测到的目标实例嵌入为查询，以关注教师网络的特征图（作为键和值）。
• 使用实例感知的交叉注意力机制，计算查询（目标实例）与教师特征之间的注意力权重，实现选择性特征检索。
• 仅对注意力机制所选择的加权特征执行知识蒸馏，聚焦于与每个目标最相关的区域。
• 设计一个辅助任务以引导解码器：对每个实例预测分类与边界框回归，使注意力机制与检测目标对齐。
• 解码器与学生检测器端到端联合训练，采用多任务损失函数，结合检测任务与辅助知识检索监督。
• 该方法兼容多种检测器，且无需对教师或学生网络的架构进行任何修改。

实验结果

研究问题

• RQ1 如何使目标检测中的知识蒸馏更具选择性与实例特异性，而非对所有特征统一应用蒸馏？
• RQ2 是否可学习的注意力机制（以目标实例作为查询）能提升蒸馏知识的质量与相关性？
• RQ3 引入一个与检测目标对齐的知识检索辅助任务，是否能带来优于启发式或基于规则的特征选择方法的性能提升？
• RQ4 通过实例条件蒸馏，能否使更小的学生网络在 mAP 上超越更大的教师网络？
• RQ5 将此类条件解码模块集成到标准检测流水线中的计算与内存开销如何？

主要发现

• 在使用 ResNet-50 主干的 RetinaNet 上，ICD 在 MS-COCO 上实现了 3.3 mAP 的提升，mAP 从 37.4 提升至 40.7（1× 训练调度）。
• 在 3× 训练调度下，使用 ResNet-50 的学生模型 mAP 达到 40.7，超越了使用 ResNet-101 的教师模型（40.4 mAP）。
• 所提出的实例条件注意力机制相比基线模型提升 0.9 mAP，相比最佳替代注意力方法提升 0.4 mAP。
• 消融实验表明，8 个注意力头性能最佳，级联解码器仅带来微小改进，表明单阶段解码器容量已足够。
• 解码器的训练成本可忽略不计——在 8 张 A100 GPU 上仅需 1.3 小时，使该方法在实际部署中具备可行性。
• 可视化结果表明，不同注意力头关注不同组件（如显著区域、边界），验证了模型聚焦于语义相关区域的能力。