[论文解读] Label, Verify, Correct: A Simple Few Shot Object Detection Method

Prannay Kaul, Weidi Xie+1 more|arXiv (Cornell University)|Dec 10, 2021

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一种简单而有效的 few-shot 目标检测方法，名为 'Label, Verify, Correct'，通过仅使用少量标注样本即可显著提升新类别检测性能。该方法通过 k-NN 分类器迭代验证标签并利用专用回归器校正边界框，生成高质量伪标注，从而在保持基础类别性能的同时，显著提升新类别的召回率与精确率，在 PASCAL VOC 和 MS-COCO 基准上达到最先进水平。

ABSTRACT

The objective of this paper is few-shot object detection (FSOD) -- the task of expanding an object detector for a new category given only a few instances for training. We introduce a simple pseudo-labelling method to source high-quality pseudo-annotations from the training set, for each new category, vastly increasing the number of training instances and reducing class imbalance; our method finds previously unlabelled instances. Naïvely training with model predictions yields sub-optimal performance; we present two novel methods to improve the precision of the pseudo-labelling process: first, we introduce a verification technique to remove candidate detections with incorrect class labels; second, we train a specialised model to correct poor quality bounding boxes. After these two novel steps, we obtain a large set of high-quality pseudo-annotations that allow our final detector to be trained end-to-end. Additionally, we demonstrate our method maintains base class performance, and the utility of simple augmentations in FSOD. While benchmarking on PASCAL VOC and MS-COCO, our method achieves state-of-the-art or second-best performance compared to existing approaches across all number of shots.

研究动机与目标

• 为解决 few-shot 目标检测（FSOD）中的挑战，即模型需在仅 1–30 个标注样本的情况下检测新物体类别，同时保持对基础类别的性能。
• 克服少样本训练中监督崩溃与严重类别不平衡的问题，其中新类别被极度低估。
• 通过专门的验证与校正步骤，提升新类别伪标注的质量，同时优化类别标签与边界框坐标。
• 展示在 few-shot 目标检测中采用激进数据增强策略的有效性，该因素在先前工作中未被充分探索。
• 在所有 shot 设置（1–30 张图）下，于 PASCAL VOC 与 MS-COCO 基准上均实现最先进或第二好的性能。

提出的方法

• 该方法从在基础类别上预训练的 Faster R-CNN 检测器开始，利用其对整个训练集中的新类别生成噪声候选检测结果。
• 使用基于少样本标注自监督特征的 k-NN 分类器，验证这些候选的类别标签，过滤掉预测不匹配的假阳性样本。
• 训练一个专用边界框回归器，以优化已验证候选的边界框坐标，显著提升定位精度。
• 将生成的高精度伪标注与原始基础类别的真实标注结合，对检测器进行端到端微调。
• 通过激进的数据增强策略进一步提升泛化能力，并减少在有限新类别数据上的过拟合。
• 整个流程——标签生成、验证与校正——设计简洁，兼容标准两阶段检测器（如 Faster R-CNN）。

实验结果

研究问题

• RQ1 使用高精度伪标注是否能显著提升新类别在 few-shot 目标检测中的性能？
• RQ2 如何在不依赖人工标注数据的前提下，有效减少伪标注中的类别标签错误？
• RQ3 专用边界框校正模块是否能提升伪标注实例的边界框预测质量？
• RQ4 激进的数据增强策略在多大程度上能增强 few-shot 检测的泛化能力？
• RQ5 所提出方法是否在提升新类别检测性能的同时，保持对基础类别的性能表现？

主要发现

• 在 MS-COCO 基准上，30 张图设置下，该方法在新类别上达到 57.6 mAP（平均精度均值），显著优于相同设置下的基线模型 44.2 mAP。
• 在 PASCAL VOC 上，使用 ResNet-101 模型，30 张图设置下新类别达到 59.6 mAP，在所有 shot 设置下均位列最先进或第二名。
• 在 IoU=0.75 条件下的精确率-召回率曲线显示，应用伪标注流程后，新类别的精确率与召回率均得到显著提升。
• 消融实验确认，标签验证与边界框校正均为关键组件，任一步骤缺失均导致性能显著下降。
• 该方法在基础类别上保持了强劲性能，表明在端到端微调过程中未出现因监督崩溃导致的性能退化。
• 激进数据增强被证实对泛化至关重要，消融实验表明其与伪标注结合使用时性能有明显提升。