[论文解读] Incremental-DETR: Incremental Few-Shot Object Detection via Self-Supervised Learning

Na Dong, Yongqiang Zhang+2 more|arXiv (Cornell University)|May 9, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种名为Incremental-DETR的新框架，用于增量少样本目标检测，通过自监督学习和知识蒸馏缓解在仅使用少量新类别样本训练时的灾难性遗忘和过拟合问题。通过仅微调类别特定组件（投影层和分类头），同时冻结类别无关组件（主干网络、Transformer、回归头），并利用选择性搜索生成的伪标注进行自监督，该方法在COCO和VOC数据集的1-shot、5-shot和10-shot设置下均实现了最先进性能。

ABSTRACT

Incremental few-shot object detection aims at detecting novel classes without forgetting knowledge of the base classes with only a few labeled training data from the novel classes. Most related prior works are on incremental object detection that rely on the availability of abundant training samples per novel class that substantially limits the scalability to real-world setting where novel data can be scarce. In this paper, we propose the Incremental-DETR that does incremental few-shot object detection via fine-tuning and self-supervised learning on the DETR object detector. To alleviate severe over-fitting with few novel class data, we first fine-tune the class-specific components of DETR with self-supervision from additional object proposals generated using Selective Search as pseudo labels. We further introduce an incremental few-shot fine-tuning strategy with knowledge distillation on the class-specific components of DETR to encourage the network in detecting novel classes without forgetting the base classes. Extensive experiments conducted on standard incremental object detection and incremental few-shot object detection settings show that our approach significantly outperforms state-of-the-art methods by a large margin.

研究动机与目标

• 解决仅提供少量新类别标注样本且训练期间无法访问基础类别数据的增量少样本目标检测挑战。
• 通过在适应新类别时保留基础类别知识，缓解少样本学习场景下的灾难性遗忘和过拟合问题。
• 开发一种方法，有效利用来自目标提议的自监督信号，在增量微调前对类别特定组件进行预训练。
• 通过解耦DETR架构中的类别无关与类别特定学习组件，提升低数据场景下的泛化能力和鲁棒性。
• 通过跨数据集评估实现领域泛化，证明从COCO到VOC的迁移性能下降极小。

提出的方法

• 通过消融实验识别DETR中的类别特定组件（投影层和分类头）与类别无关组件（CNN主干网络、Transformer编码器-解码器、回归头）。
• 采用两阶段微调：第一阶段，使用选择性搜索生成的伪标签在基础数据上对类别特定组件进行自监督预训练；第二阶段，仅在少量新类别数据上微调类别特定组件。
• 利用选择性搜索生成额外的目标提议作为伪真实标注，以在预训练阶段对类别特定头进行自监督，降低在有限数据上的过拟合风险。
• 在增量微调过程中应用知识蒸馏，将基础模型的知识迁移至新模型，从而保持基础类别性能。
• 在整个两个阶段中冻结类别无关组件，以防止灾难性遗忘并稳定新类别的学习过程。
• 第一阶段使用标准DETR损失，结合伪标签和真实标签进行多任务学习；第二阶段仅使用真实新类别标签进行训练。

实验结果

研究问题

• RQ1 在伪标注目标提议上进行自监督学习是否能提升少样本目标检测的泛化能力并降低过拟合？
• RQ2 在仅微调少量新类别样本时，知识蒸馏在保持基础类别性能方面的有效性如何？
• RQ3 与端到端微调相比，分离类别无关与类别特定学习组件是否能提升增量少样本检测性能？
• RQ4 当新数据分布与基础数据不同时，该方法在跨数据集场景下的泛化能力如何？
• RQ5 在增量微调过程中冻结类别无关组件对灾难性遗忘和整体检测准确率的影响是什么？

主要发现

• 在COCO数据集上，Incremental-DETR在1-shot设置下达到22.5% AP和36.0% AP50，显著优于iMTFA（21.7% AP，31.6% AP50）。
• 在5-shot设置下，该方法达到24.9% AP和39.6% AP50，超过iMTFA（19.6% AP，28.1% AP50）。
• 在10-shot设置下，Incremental-DETR达到24.1% AP和38.6% AP50，大幅优于iMTFA（19.3% AP，27.5% AP50）。
• 在跨数据集的VOC基准上，该方法在5-shot设置下达到16.6% AP，远超ONCE（2.4% AP），在10-shot设置下达到24.6% AP。
• 消融实验证实，冻结类别无关组件以及采用两阶段微调结合自监督是性能关键，其移除会导致准确率显著下降。
• 单阶段预训练（合并自监督与基础数据训练）性能劣于两阶段方法，基础类别AP为28.3%，而两阶段设置下达到30.5%。