[论文解读] General Instance Distillation for Object Detection

Xing Dai, Zeren Jiang+5 more|arXiv (Cornell University)|Mar 3, 2021

Advanced Neural Network Applications参考文献 34被引用 6

一句话总结

本文提出通用实例蒸馏（GID），一种用于目标检测的新知识蒸馏框架，该框架选择具有区分性的实例（无论是否为真实标注）作为蒸馏目标。通过利用这些通用实例的特征知识、关系知识和响应知识，GID 在多种检测框架中均提升了学生模型的性能，在 COCO 数据集上使用 RetinaNet-Res50 达到 39.1% mAP，优于基线模型和基于 ResNet-101 的教师模型。

ABSTRACT

In recent years, knowledge distillation has been proved to be an effective solution for model compression. This approach can make lightweight student models acquire the knowledge extracted from cumbersome teacher models. However, previous distillation methods of detection have weak generalization for different detection frameworks and rely heavily on ground truth (GT), ignoring the valuable relation information between instances. Thus, we propose a novel distillation method for detection tasks based on discriminative instances without considering the positive or negative distinguished by GT, which is called general instance distillation (GID). Our approach contains a general instance selection module (GISM) to make full use of feature-based, relation-based and response-based knowledge for distillation. Extensive results demonstrate that the student model achieves significant AP improvement and even outperforms the teacher in various detection frameworks. Specifically, RetinaNet with ResNet-50 achieves 39.1% in mAP with GID on COCO dataset, which surpasses the baseline 36.2% by 2.9%, and even better than the ResNet-101 based teacher model with 38.1% AP.

研究动机与目标

• 解决现有知识蒸馏方法在不同目标检测框架之间泛化能力有限的问题。
• 克服对真实标注的依赖以及检测蒸馏中正负样本不平衡的问题。
• 通过不仅利用正样本，还利用具有信息量的背景区域（负样本），提升学生模型性能。
• 开发一种在单阶段、两阶段和无锚框检测架构中均具有鲁棒性的蒸馏方法。

提出的方法

• 将通用实例（GIs）引入作为蒸馏目标，其选择基于教师和学生网络的模型输出，而无需依赖真实标注。
• 设计通用实例选择模块（GISM），通过教师与学生预测之间的响应、特征和关系相似性，自适应地识别最具区分性的实例。
• 整合三类知识进行蒸馏：响应知识（logits）、特征知识（中间激活）和关系知识（成对实例交互）。
• 通过加权组合响应损失、特征损失和关系损失，应用知识蒸馏损失，实现从教师到学生的知识迁移。
• 在 GISM 中采用 top-K 选择策略，控制所选 GIs 的数量，以平衡信息量与训练效率。
• 通过避免对特定组件（如锚框或 RPN）的依赖，确保方法与框架无关，从而具备广泛适用性。

实验结果

研究问题

• RQ1 是否可以在不依赖真实标注或正负样本区分的情况下，实现有效的目标检测知识蒸馏？
• RQ2 实例间的关系知识在目标检测蒸馏中如何提升性能？
• RQ3 具有信息量的背景区域（负样本）在学生模型泛化中能发挥多大作用？
• RQ4 蒸馏性能是否因检测框架不同而异？是否存在一种统一方法可实现跨框架泛化？
• RQ5 为最大化蒸馏效率与模型准确率，最优的所选通用实例数量（top-K）是多少？

主要发现

• 使用 GID 的学生模型在 COCO 数据集上使用 RetinaNet-Res50 达到 39.1% mAP，优于基线模型（36.2%），甚至超过基于 ResNet-101 的教师模型（38.1% mAP）。
• 仅从负样本（背景区域）蒸馏仍能提升性能，表明具有信息量的背景知识具有价值，但常被忽视。
• 特征知识、关系知识和响应知识的组合带来最佳性能，其中特征知识和响应知识各贡献约 1.7 mAP 的增益。
• GISM 的最优 top-K 范围在 10 到 100 之间；当 K 超过 100 时，性能下降，原因是引入了平凡或无信息量的实例。
• 即使仅从 GISM 选出的 GT 实例子集进行蒸馏，其性能也优于对所有 GT 实例进行蒸馏，表明极端难样本或简单样本可能对蒸馏产生负面影响。
• 训练过程中正样本蒸馏比例逐渐下降，而后期性能提升主要由具有区分性的背景区域和关键特征驱动。