[论文解读] Class-Incremental Few-Shot Object Detection

Pengyang Li, Yanan Li+2 more|arXiv (Cornell University)|May 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 22被引用 13

一句话总结

本文提出LEAST，一种新颖的少样本增量目标检测方法，可最小化灾难性遗忘，降低训练资源消耗，并提升迁移能力。通过解耦特征提取器、采用低资源消耗的知识蒸馏，以及基于聚类的原型样本选择策略，LEAST在少样本增量设置下的COCO数据集上实现了SOTA性能，mAP为18.2，mAR为33.9。

ABSTRACT

Conventional detection networks usually need abundant labeled training samples, while humans can learn new concepts incrementally with just a few examples. This paper focuses on a more challenging but realistic class-incremental few-shot object detection problem (iFSD). It aims to incrementally transfer the model for novel objects from only a few annotated samples without catastrophically forgetting the previously learned ones. To tackle this problem, we propose a novel method LEAST, which can transfer with Less forgetting, fEwer training resources, And Stronger Transfer capability. Specifically, we first present the transfer strategy to reduce unnecessary weight adaptation and improve the transfer capability for iFSD. On this basis, we then integrate the knowledge distillation technique using a less resource-consuming approach to alleviate forgetting and propose a novel clustering-based exemplar selection process to preserve more discriminative features previously learned. Being a generic and effective method, LEAST can largely improve the iFSD performance on various benchmarks.

研究动机与目标

• 解决在仅对每个新类别提供少量标注样本的情况下，实现增量目标检测并防止对先前学习的基类造成灾难性遗忘的问题。
• 克服现有方法在增量学习过程中要么遗忘基类知识，要么需要过度训练资源的局限性。
• 开发一种通用且高效的框架，在顺序学习场景中平衡基类与新类的性能表现。
• 在迁移过程中最小化不必要的权重调整，以提升迁移能力并降低资源需求。
• 通过代表性原型样本选择策略保留基类的判别性特征，以增强知识保留能力。

提出的方法

• 将类别敏感的目标特征提取器与完整检测器解耦，以减少增量学习过程中的不必要权重调整，提升迁移能力。
• 采用轻量化、资源高效的蒸馏方法集成知识蒸馏，以保留预训练模型的判别性分布并缓解遗忘。
• 提出一种基于聚类的原型样本选择算法，从基类中选取少量具有代表性的特征，以捕捉类内差异与分布模式。
• 在顺序学习流程中应用所提出的迁移策略，逐个引入新类别，并仅使用少量标注样本。
• 使用蒸馏损失将学生检测器的输出与教师的知识对齐，确保在增量更新过程中基类性能得以保持。
• 将三种组件——迁移策略、蒸馏与原型样本选择——整合为统一的、通用的框架，适用于多种基准与设置。

实验结果

研究问题

• RQ1 在仅使用少量标注样本逐个学习新类别时，如何减少少样本目标检测中的灾难性遗忘？
• RQ2 何种迁移策略可最小化不必要权重调整，同时最大化增量检测中的迁移能力？
• RQ3 如何高效应用知识蒸馏以在不增加训练资源消耗的前提下保留基类知识？
• RQ4 何种原型样本选择方法能以最少样本数最好地捕捉基类的分布与类内可变性？
• RQ5 结合上述组件的统一框架是否能在少样本与持续增量学习设置中均优于现有SOTA方法？

主要发现

• 在COCO数据集上，LEAST在10-shot设置下实现了18.2的mAP与33.9的mAR，显著优于TFA与ONCE等先前方法。
• 所提出的迁移策略（FIT_CSE）相比基线方法FIX_ALL，性能提升1.8 mAP与1.9 mAR，证明了更少的权重调整与更强的迁移能力。
• 知识蒸馏（损失记为$d$）相比无蒸馏设置，使新类别mAP提升2.4分，表明其有效缓解了遗忘。
• 基于聚类的原型样本选择（$e$）相比随机选择（$e_r$）提升1.6 mAP，相比类别平均选择（$e_a$）提升0.8 mAP，证明其能更好地表征基类特征。
• 在持续学习场景中，LEAST在20个增量阶段中保持稳定性能，而LEAST-NE（无原型样本）性能下降至mAP 12.1与mAR 26.5，证实了原型样本选择的必要性。
• 在从MS-COCO到Pascal VOC的跨域迁移中，LEAST实现mAP 18.2与mAR 33.9，显著优于基线方法，验证了其泛化能力与鲁棒性。