[论文解读] Continual Detection Transformer for Incremental Object Detection

Yaoyao Liu, Bernt Schiele+2 more|arXiv (Cornell University)|Apr 6, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 CL-DETR，一种用于基于 Transformer 的模型中增量目标检测的新方法，通过引入检测器知识蒸馏（DKD）和校准的样本重放策略，克服灾难性遗忘。DKD 仅从旧模型中蒸馏最置信的前景预测，避免噪声背景检测；而校准的 ER 保留了训练数据的真实类别分布。在 COCO 2017 上，CL-DETR 达到了最先进性能，平均精度（AP）相比直接应用 KD 和 ER 提升了 4.2 个百分点。

ABSTRACT

Incremental object detection (IOD) aims to train an object detector in phases, each with annotations for new object categories. As other incremental settings, IOD is subject to catastrophic forgetting, which is often addressed by techniques such as knowledge distillation (KD) and exemplar replay (ER). However, KD and ER do not work well if applied directly to state-of-the-art transformer-based object detectors such as Deformable DETR and UP-DETR. In this paper, we solve these issues by proposing a ContinuaL DEtection TRansformer (CL-DETR), a new method for transformer-based IOD which enables effective usage of KD and ER in this context. First, we introduce a Detector Knowledge Distillation (DKD) loss, focusing on the most informative and reliable predictions from old versions of the model, ignoring redundant background predictions, and ensuring compatibility with the available ground-truth labels. We also improve ER by proposing a calibration strategy to preserve the label distribution of the training set, therefore better matching training and testing statistics. We conduct extensive experiments on COCO 2017 and demonstrate that CL-DETR achieves state-of-the-art results in the IOD setting.

研究动机与目标

• 为解决在使用 Deformable DETR 和 UP-DETR 等最先进基于 Transformer 的检测器时，增量目标检测（IOD）中出现的灾难性遗忘问题。
• 克服标准知识蒸馏（KD）和样本重放（ER）在基于 Transformer 的检测器中因预测不平衡和类别分布偏移而失效的问题。
• 提出一种新的 IOD 基准协议，避免在不同阶段重复使用图像，确保与标准增量学习定义的兼容性。
• 通过仅聚焦于旧模型中信息量大、高置信度的前景预测来改进 KD，减少与新真实标签之间的冲突。
• 对样本重放进行校准，使存储图像的分布匹配真实训练集分布，从而提升泛化能力并减少遗忘。

提出的方法

• 提出检测器知识蒸馏（DKD），从旧模型中选择最置信的前 K 个非背景预测，并在训练期间与新真实标签联合进行二分图匹配。
• 采用标准目标检测训练方式，使用结合旧模型预测和新真实标注的联合标签集，确保一致性并减少冲突。
• 实施一种样本重放的校准策略，选择与原始类别分布匹配的训练图像，避免因类别间均匀采样导致的不平衡。
• 每阶段采用两阶段训练协议：先进行主训练步骤，再进行较小的校准步骤，以优化模型预测并减少遗忘。
• 修订 IOD 基准协议，防止同一图像在多个训练阶段中重复使用，确保无数据泄露，并更好地符合增量学习原则。
• 采用伪标签选择机制，优先选择旧模型中高置信度且无重叠的检测结果，以生成可靠的蒸馏目标。

实验结果

研究问题

• RQ1 为何标准知识蒸馏和样本重放直接应用于 Deformable DETR 等基于 Transformer 的目标检测器时会失效？
• RQ2 如何重构知识蒸馏，以避免在增量目标检测中旧模型预测与新真实标签之间的冲突？
• RQ3 样本重放中类别分布不匹配对 IOD 中模型性能和遗忘的影响是什么？
• RQ4 能否通过避免图像重复使用的修订 IOD 基准协议，提升增量学习实验的有效性和可复现性？
• RQ5 所提方法对超参数（如 DKD 中使用的 top-K 预测数量）的选择有多鲁棒？

主要发现

• 在 COCO 2017 的 70+10 IOD 设置下，CL-DETR 相比直接应用 KD 和 ER，将平均精度（AP）提升了 4.2 个百分点。
• 与传统 ER 相比，校准的样本重放策略将遗忘减少了 2.1 个百分点，使旧类别性能提升了 2.1 分。
• 在 DKD 中使用前 10 个最置信的非背景预测可获得最佳性能，不同 K 值之间仅相差 0.4 个百分点，表明方法具有鲁棒性。
• DKD 损失能有效抑制噪声背景预测，减少蒸馏知识与新训练信号之间的冲突。
• 可视化结果证实，CL-DETR 生成的伪标签与真实边界框高度对齐，尤其在目标较少的图像中表现更优。
• 修订后的 IOD 协议防止了图像在各阶段间的重复使用，使基准更具现实性，并与标准增量学习假设更加一致。