[论文解读] Lifelong Object Detection

Zhou Wang, Shiyu Chang+3 more|arXiv (Cornell University)|Sep 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用 25

一句话总结

本文提出了一种基于Faster R-CNN的终身目标检测框架，通过在区域建议网络（RPN）和区域分类器（R-CNN）上应用知识蒸馏，并结合伪正例感知采样（PPAS）策略，有效缓解了灾难性遗忘问题。该方法在不访问旧训练数据的情况下，实现了具有竞争力的平均平均精度（mAP）和6倍的推理加速，适用于实时应用。

ABSTRACT

Recent advances in object detection have benefited significantly from rapid developments in deep neural networks. However, neural networks suffer from the well-known issue of catastrophic forgetting, which makes continual or lifelong learning problematic. In this paper, we leverage the fact that new training classes arrive in a sequential manner and incrementally refine the model so that it additionally detects new object classes in the absence of previous training data. Specifically, we consider the representative object detector, Faster R-CNN, for both accurate and efficient prediction. To prevent abrupt performance degradation due to catastrophic forgetting, we propose to apply knowledge distillation on both the region proposal network and the region classification network, to retain the detection of previously trained classes. A pseudo-positive-aware sampling strategy is also introduced for distillation sample selection. We evaluate the proposed method on PASCAL VOC 2007 and MS COCO benchmarks and show competitive mAP and 6x inference speed improvement, which makes the approach more suitable for real-time applications. Our implementation will be publicly available.

研究动机与目标

• 解决在无旧训练数据访问条件下，新类别按顺序加入时目标检测中的灾难性遗忘问题。
• 通过在新类别上逐步微调预训练的Faster R-CNN模型，实现在目标检测中的持续学习。
• 在不重新训练旧数据的情况下，提升对旧类别和新类别的检测性能。
• 通过减少区域建议数量同时保持高召回率，提升推理效率。
• 开发一种采样策略，优先选择对蒸馏有帮助的有信息量样本，以保留先前学习类别的知识。

提出的方法

• 使用预训练检测器作为教师模型，通过知识蒸馏指导学生模型在增量训练中的学习。
• 在Faster R-CNN的RPN和R-CNN组件上同时应用蒸馏损失，以保持对先前学习类别的检测性能。
• 提出一种伪正例感知采样（PPAS）策略，基于教师模型输出的伪正例分数，选择高价值的候选框和区域建议。
• 采用联合损失函数，包含蒸馏损失（防止遗忘）和监督交叉熵损失（学习新类别）。
• 在推理阶段动态调整RPN，生成更少但更相关的建议框，降低计算开销。
• 在保留教师模型知识的前提下，对学生模型进行增量式训练，实现无需数据回放的持续学习。

实验结果

研究问题

• RQ1 当新类别被逐步引入时，知识蒸馏是否能有效防止目标检测中的灾难性遗忘？
• RQ2 与随机或朴素采样策略相比，伪正例感知采样（PPAS）如何提升蒸馏性能？
• RQ3 所提出的终身检测方法在引入新类别后，是否能保持对先前学习类别的高mAP，同时在新类别上表现优异？
• RQ4 与使用外部建议网络的基线方法相比，该方法在推理速度上的提升程度如何？
• RQ5 当以顺序批次方式添加多个新类别时，该方法的可扩展性如何？

主要发现

• 在PASCAL VOC 2007上，加入新类别后，该方法在旧类别上达到63.5%的mAP，显著优于无蒸馏时的12.3%。
• 在VOC的'19+1'设置下，该方法达到56.7%的mAP，优于Seq-Fast的55.2%，在加入五个新类别时表现更优。
• 在VOC的'10+5+5'设置下，该方法达到61.8%的mAP，超过Seq-Fast的60.8%，展现出在顺序学习中的鲁棒性。
• 在MS COCO上，'40+40'设置下，该方法达到42.4%的mAP@0.5和26.4%的mAP@[0.5:0.95]，优于Seq-Fast的37.4%和21.3%，表现出强大的泛化能力。
• 推理速度提升6倍，在单张K80 GPU上达到3 fps，而Seq-Fast仅为0.5 fps，归因于更少的建议框和共享特征计算。
• 消融实验表明，PPAS显著提升了旧类别上的性能，相比无PPAS的基线蒸馏，mAP提升了51.2%。