[论文解读] Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector

Qi Fan, Wei Zhuo+2 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Neural Network Applications参考文献 63被引用 37

一句话总结

本文提出了一种少样本目标检测网络，具备 Attention-RPN 与 Multi-Relation Detector，通过对比学习进行训练，并提供一个 1000 类 FSOD 数据集，在不进行微调的情况下达到了最新的效果。

ABSTRACT

Conventional methods for object detection typically require a substantial amount of training data and preparing such high-quality training data is very labor-intensive. In this paper, we propose a novel few-shot object detection network that aims at detecting objects of unseen categories with only a few annotated examples. Central to our method are our Attention-RPN, Multi-Relation Detector and Contrastive Training strategy, which exploit the similarity between the few shot support set and query set to detect novel objects while suppressing false detection in the background. To train our network, we contribute a new dataset that contains 1000 categories of various objects with high-quality annotations. To the best of our knowledge, this is one of the first datasets specifically designed for few-shot object detection. Once our few-shot network is trained, it can detect objects of unseen categories without further training or fine-tuning. Our method is general and has a wide range of potential applications. We produce a new state-of-the-art performance on different datasets in the few-shot setting. The dataset link is https://github.com/fanq15/Few-Shot-Object-Detection-Dataset.

研究动机与目标

• 开发一个通用的少样本目标检测模型，在不重新训练的情况下检测未见过的类别。
• 利用 support-query 相似性来提升候选框生成与检测精度。
• 在 RPN 中引入注意力机制，并采用多关系检测器以抑制背景假阳性。
• 构建一个包含 1000 个类别的庞大且多样化的 FSOD 数据集，以实现稳健的少样本评估。
• 在 ImageNet Detection 和 MS COCO 上展示出在不进行微调的情况下的强大性能。

提出的方法

• 使用权值共享的 Faster R-CNN 框架，配备通过深度可分卷积相关来将 support 信息整合进 Attention-RPN 以过滤提议。
• 集成具备全局、局部和补丁头的 Multi-Relation Detector，以衡量 support-query 关系并重新打分提议。
• 应用一个 2-way 对比训练策略，在同类别匹配和不同类别区分上进行训练，以提高判别能力。
• 在 FSOD 上端到端训练，选可在 ImageNet 和 COCO 上进行预训练，使用一个 2-way 5-shot 对比方案作为完整模型。
• 通过对同一类别支持进行均值化来融合支持特征，从而为 attention RPN 和检测器形成稳健的支持表示。

实验结果

研究问题

• RQ1 带权共享的检测框架能否在不重新训练的情况下由 support 图像信息引导以检测新类别？
• RQ2 基于注意力的 RPN 是否比普通的 RPN 提高少样本检测的候选框质量？
• RQ3 检测器中的多个关系头（全局、局部、补丁）是否为少样本匹配带来互补收益？
• RQ4 区分不同类别的 2-way 对比训练策略是否提升少样本检测性能？
• RQ5 所提出的 FSOD 数据集如何影响在标准基准上对未知类别的泛化？

主要发现

• 与常规 RPN 相比，Attention-RPN 提高了召回率和 ABO 分数，从而获得更高的 AP50 与 AP75。
• 具备全三头的完整多关系检测器实现了最佳的 AP50 与 AP75，超越单头配置。
• 2-way 5-shot 对比训练相对于 naive 训练带来显著提升，在多个数据集上实现了无需微调的 state-of-the-art。
• 在 FSOD 上训练的模型对未见类别的泛化优于在 COCO 上训练的模型，尤其是在 5-shot 设置中。
• FSOD 数据集在少样本性能和多样性方面相较于传统少类别数据集具有优势。