[论文解读] Faster ILOD: Incremental Learning for Object Detectors based on Faster RCNN

Can Peng, Kun Zhao+1 more|arXiv (Cornell University)|Mar 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用 6

一句话总结

本文提出Faster ILOD，一种基于Faster R-CNN的端到端增量目标检测框架，采用多网络自适应蒸馏以缓解灾难性遗忘。通过利用RPN对缺失标注的鲁棒性，并在多个网络间蒸馏知识，该方法在PASCAL VOC和COCO数据集上实现了13倍的推理加速，且mAP最高提升5.92%，优于先前方法。

ABSTRACT

The human vision and perception system is inherently incremental where new knowledge is continually learned over time whilst existing knowledge is retained. On the other hand, deep learning networks are ill-equipped for incremental learning. When a well-trained network is adapted to new categories, its performance on the old categories will dramatically degrade. To address this problem, incremental learning methods have been explored which preserve the old knowledge of deep learning models. However, the state-of-the-art incremental object detector employs an external fixed region proposal method that increases overall computation time and reduces accuracy comparing to Region Proposal Network (RPN) based object detectors such as Faster RCNN. The purpose of this paper is to design an efficient end-to-end incremental object detector using knowledge distillation. We first evaluate and analyze the performance of the RPN-based detector with classic distillation on incremental detection tasks. Then, we introduce multi-network adaptive distillation that properly retains knowledge from the old categories when fine-tuning the model for new task. Experiments on the benchmark datasets, PASCAL VOC and COCO, demonstrate that the proposed incremental detector based on Faster RCNN is more accurate as well as being 13 times faster than the baseline detector.

研究动机与目标

• 解决在增量学习过程中，新增类别时无法访问旧训练数据而导致的目标检测器灾难性遗忘问题。
• 克服现有增量检测器依赖外部固定区域建议网络的局限性，此类网络会降低推理速度并影响准确率。
• 设计一种端到端的、基于RPN的增量检测框架，在高效学习新类别的同时保持对旧类别的性能。
• 提升在真实场景中的泛化能力和鲁棒性，其中旧数据可能不可用或重新标注不切实际。
• 证明多网络自适应蒸馏在增量微调过程中能有效保留先前类别的知识。

提出的方法

• 评估Faster R-CNN中RPN在增量检测中对旧类别缺失标注的内在鲁棒性，发现其基于锚点的候选框选择机制可容忍部分标注。
• 提出Faster ILOD，一种基于Faster R-CNN的端到端增量学习框架，用可训练的RPN替代外部建议网络。
• 实现多网络自适应蒸馏，即在微调过程中将多个先前模型版本的知识迁移至当前模型。
• 使用知识蒸馏将旧模型的软标签迁移至当前检测器，以保留旧类别检测置信度与特征表示。
• 不仅在当前模型与前一模型之间应用蒸馏损失，还跨多个先前模型应用，以稳定知识保留。
• 仅使用新类别的标注对整个Faster R-CNN网络进行端到端微调，同时利用蒸馏知识防止遗忘。

实验结果

研究问题

• RQ1 Faster R-CNN中的RPN在增量目标检测过程中能否容忍旧类别标注缺失？
• RQ2 多网络自适应蒸馏在增量学习中保留先前学习类别检测性能方面有多有效？
• RQ3 基于RPN的端到端增量检测器是否在速度与准确率上优于依赖固定外部区域建议网络的先前方法？
• RQ4 所提方法在不同增量学习序列及不同类别难度等级下的性能表现如何？
• RQ5 该方法在保持新类别高准确率的同时，能在多大程度上减少灾难性遗忘？

主要发现

• 由于基于锚点的提议机制，Faster R-CNN中的RPN对旧类别缺失标注表现出内在鲁棒性，使得在增量训练中可容忍部分标注。
• Faster ILOD相比基于Fast R-CNN与外部提议网络的ILOD，推理速度提升13倍，将VOC数据集上ResNet-50的平均检测时间从1396.66 ms降低至109.52 ms。
• 在PASCAL VOC上，Faster ILOD在多步增量学习（每次增加一个类别）中相比ILOD实现平均5.78%的mAP增益，相比应用于Faster R-CNN的ILOD实现1.67%的mAP增益。
• 在COCO上，Faster ILOD在多步增量检测（IoU=0.5）中相比ILOD实现5.92%的mAP增益，相比应用于Faster R-CNN的ILOD实现2.74%的mAP增益，且在更高IoU阈值下仍有进一步增益。
• 该方法在不同学习序列中均表现出一致改进，尤其在学习“person”等频繁与其他类别共现的高难度类别时增益最大。
• 当旧数据稀缺或标注缺失时，自适应蒸馏机制最为有效，表现为在缺失标注率高且训练集大的类别上获得更高增益。