[论文解读] MINI: Mining Implicit Novel Instances for Few-Shot Object Detection

Yuhang Cao, Jiaqi Wang+2 more|arXiv (Cornell University)|May 6, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出 MINI，一种新颖的少样本目标检测框架，通过离线与在线机制挖掘基础类别训练数据中隐含的新型实例（未标注的、共现的新型物体）。通过利用自监督学习与教师-学生更新机制，MINI 在 PASCAL VOC 和 MS-COCO 上所有少样本设置下显著提升检测性能，实现新的 SOTA 结果，绝对提升最高达 19.3 AP50 点。

ABSTRACT

Learning from a few training samples is a desirable ability of an object detector, inspiring the explorations of Few-Shot Object Detection (FSOD). Most existing approaches employ a pretrain-transfer paradigm. The model is first pre-trained on base classes with abundant data and then transferred to novel classes with a few annotated samples. Despite the substantial progress, the FSOD performance is still far behind satisfactory. During pre-training, due to the co-occurrence between base and novel classes, the model is learned to treat the co-occurred novel classes as backgrounds. During transferring, given scarce samples of novel classes, the model suffers from learning discriminative features to distinguish novel instances from backgrounds and base classes. To overcome the obstacles, we propose a novel framework, Mining Implicit Novel Instances (MINI), to mine the implicit novel instances as auxiliary training samples, which widely exist in abundant base data but are not annotated. MINI comprises an offline mining mechanism and an online mining mechanism. The offline mining mechanism leverages a self-supervised discriminative model to collaboratively mine implicit novel instances with a trained FSOD network. Taking the mined novel instances as auxiliary training samples, the online mining mechanism takes a teacher-student framework to simultaneously update the FSOD network and the mined implicit novel instances on the fly. Extensive experiments on PASCAL VOC and MS-COCO datasets show MINI achieves new state-of-the-art performance on any shot and split. The significant performance improvements demonstrate the superiority of our method.

研究动机与目标

• 为解决因新型样本数量有限以及将新型实例误分类为背景所导致的少样本目标检测器性能低下问题。
• 发现并利用隐含新型实例——即基础类别数据集中共现但未标注的新型物体，且无需人工标注。
• 通过引入挖掘出的隐含新型实例来增强训练，提升新型类别、基础类别与背景之间的特征判别能力。
• 开发一种自监督、迭代式的框架，实现检测器与挖掘出的实例随时间动态共同优化。

提出的方法

• 一种离线挖掘机制利用自监督判别模型（如 MoCo v2）从预训练的 FSOD 模型中识别并校准候选隐含新型实例的置信度分数。
• 该框架引入一种可微的自适应阈值策略，通过超参数 α 和 N 过滤高置信度、可靠的隐含新型实例。
• 一种在线挖掘机制采用教师-学生框架，在训练过程中实时联合更新 FSOD 网络与挖掘出的隐含新型实例。
• 学生网络通过使用原始新型样本与挖掘出的隐含新型实例作为辅助样本，联合预测边界框与分类分数。
• 采用基于置信度的 IoU 分支模块，超参数 β 用于优化边界框预测并减少误报。
• 整个流程端到端训练，使检测器与挖掘出的实例能够共同演化并逐步提升。

实验结果

研究问题

• RQ1 能否有效挖掘出基础数据中隐含的新型实例（即共现但未标注的新型物体），以提升少样本目标检测性能？
• RQ2 使用自监督判别模型进行离线挖掘，是否在识别可靠隐含新型实例方面优于监督基线？
• RQ3 一种能同时更新检测器与挖掘实例的教师-学生框架，是否能比静态挖掘带来更好的泛化性能？
• RQ4 当新型类别在训练数据中不与基础类别共现时，该方法的鲁棒性如何？
• RQ5 在不同少样本设置下，哪些超参数设置（α, N, δ, β）能实现最优性能？

主要发现

• MINI 在 PASCAL VOC 和 MS-COCO 基准的所有少样本设置下均达到新的 SOTA 性能，AP50 绝对提升最高达 19.3 点。
• 在 PASCAL VOC 的 1-shot 设置下，MINI 相较于之前的 SOTA 提升了 18.4 AP50 点，表明在低样本场景下具有显著优势。
• 即使手动从基础数据集中移除新型类别，MINI 仍使 'Bird' 类提升 5.9 AP50 点，'Bus' 类提升 9.7 AP50 点，表明对共现缺失具有强鲁棒性。
• 自监督判别模型（MoCo v2）在离线挖掘中表现优于使用 ImageNet 预训练的监督 ResNet-50，尤其在 1–3 shot 设置下优势更明显。
• 消融实验表明，δ = 0.7 和 β = 0.5 能实现最优性能，而过低的 δ 值会导致过多误报，从而降低结果。
• 该方法对超参数变化具有鲁棒性，不同 α 和 N 值下性能相对稳定，表明其具有良好的实际可用性。