[论文解读] Few-Shot Object Detection via Association and DIscrimination

Yuhang Cao, Jiaqi Wang+5 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Neural Network Applications被引用 24

一句话总结

该论文提出 FADI，一种用于少样本目标检测的两阶段微调框架，通过提升特征空间的紧凑性和类间可分性，实现了最先进性能，相较于基线方法最多提升 +18.7 mAP，尤其在 1- 和 3-shot 设置下表现突出。

ABSTRACT

Object detection has achieved substantial progress in the last decade. However, detecting novel classes with only few samples remains challenging, since deep learning under low data regime usually leads to a degraded feature space. Existing works employ a holistic fine-tuning paradigm to tackle this problem, where the model is first pre-trained on all base classes with abundant samples, and then it is used to carve the novel class feature space. Nonetheless, this paradigm is still imperfect. Durning fine-tuning, a novel class may implicitly leverage the knowledge of multiple base classes to construct its feature space, which induces a scattered feature space, hence violating the inter-class separability. To overcome these obstacles, we propose a two-step fine-tuning framework, Few-shot object detection via Association and DIscrimination (FADI), which builds up a discriminative feature space for each novel class with two integral steps. 1) In the association step, in contrast to implicitly leveraging multiple base classes, we construct a compact novel class feature space via explicitly imitating a specific base class feature space. Specifically, we associate each novel class with a base class according to their semantic similarity. After that, the feature space of a novel class can readily imitate the well-trained feature space of the associated base class. 2) In the discrimination step, to ensure the separability between the novel classes and associated base classes, we disentangle the classification branches for base and novel classes. To further enlarge the inter-class separability between all classes, a set-specialized margin loss is imposed. Extensive experiments on Pascal VOC and MS-COCO datasets demonstrate FADI achieves new SOTA performance, significantly improving the baseline in any shot/split by +18.7. Notably, the advantage is most announced on extremely few-shot scenarios.

研究动机与目标

• 解决在低数据环境下少样本目标检测中特征空间退化与类间可分性差的问题。
• 克服整体微调方法的局限性，即新类隐式依赖多个基础类，导致类内特征结构分散。
• 通过显式关联单一基础类，为每个新类构建紧凑且具有判别性的特征空间。
• 通过解耦分类头并应用集合专用的边缘损失，提升新类与基础类之间的可分性。
• 在标准基准上实现最先进性能，尤其在极端少样本场景（1- 和 3-shot）中表现优异。

提出的方法

• 在关联阶段，利用语义相似性度量将每个新类与语义相似的基础类关联，使新类能够模仿其关联基础类的结构良好特征空间。
• 在判别阶段，对基础类与新类的分类分支进行解耦，以减少歧义并提升决策边界的清晰度。
• 引入一种集合专用的边缘损失，为基础类、新类和负类设置独立的边缘，以最大化类间可分性。
• 损失组件以 α、β、γ 参数化，其中 β 设为 1/K（K 为 shot 数），以根据数据可用性自适应缩放边缘大小。
• 该框架分两个专用阶段进行训练：首先进行关联，然后进行判别，超参数通过在验证集上的消融实验进行调优。
• 在 Pascal VOC 和 MS-COCO 数据集上使用标准少样本划分进行评估，以 mAP 为主要指标。

实验结果

研究问题

• RQ1 显式关联单一基础类是否能改善少样本目标检测中的类内紧凑性并减少特征发散？
• RQ2 解耦基础类与新类的分类头是否能增强类间可分性并减少混淆？
• RQ3 具有自适应缩放机制的集合专用边缘损失是否能提升低样本设置下的泛化能力？
• RQ4 FADI 在不同样本设置下与现有微调和元学习基线相比表现如何？
• RQ5 FADI 在提升新类检测准确率的同时，对基础类遗忘的缓解程度如何？

主要发现

• 在 Pascal VOC 和 MS-COCO 上，FADI 在所有样本设置下相较 TFA 基线实现 +18.7 mAP 的性能提升。
• 在 Pascal VOC 新类 split-1 上，FADI 在 1-shot 时达到 50.3 mAP，2-shot 时为 54.8 mAP，3-shot 时为 54.2 mAP，显著优于先前最先进方法。
• 在 split-1 上，FADI 分别较前一最先进方法提升 2.5、4.3 和 2.8 mAP（分别对应 1-、2-、3-shot）。
• 在 split-3 上，FADI 在 5-shot 时达到 59.3 mAP，较前一最先进方法在同一样本设置下提升 5.6 个百分点。
• 消融实验表明，新边缘（β）对性能提升贡献最大，且 β=1/K 在所有样本设置下均取得最优结果。
• FADI 展现出极小的基础类遗忘，与 TFA 相比，基础类 AP50 仅下降 1.3 个百分点，同时新类 AP50 平均提升 10.5 个百分点。