[论文解读] Few-shot Object Detection via Feature Reweighting

Bingyi Kang, Zhuang Liu+4 more|arXiv (Cornell University)|Dec 5, 2018

Domain Adaptation and Few-Shot Learning参考文献 48被引用 17

一句话总结

本文提出了一种少样本目标检测框架，通过利用元特征和轻量级重加权模块，仅使用少量标注样本即可适应新类别。通过从基础类别中学习可泛化的特征，并基于支持图像动态重加权这些特征，该模型在低样本设置下实现了最先进性能，尤其在多个数据集上的表现显著优于强基线模型。

ABSTRACT

Conventional training of a deep CNN based object detector demands a large number of bounding box annotations, which may be unavailable for rare categories. In this work we develop a few-shot object detector that can learn to detect novel objects from only a few annotated examples. Our proposed model leverages fully labeled base classes and quickly adapts to novel classes, using a meta feature learner and a reweighting module within a one-stage detection architecture. The feature learner extracts meta features that are generalizable to detect novel object classes, using training data from base classes with sufficient samples. The reweighting module transforms a few support examples from the novel classes to a global vector that indicates the importance or relevance of meta features for detecting the corresponding objects. These two modules, together with a detection prediction module, are trained end-to-end based on an episodic few-shot learning scheme and a carefully designed loss function. Through extensive experiments we demonstrate that our model outperforms well-established baselines by a large margin for few-shot object detection, on multiple datasets and settings. We also present analysis on various aspects of our proposed model, aiming to provide some inspiration for future few-shot detection works.

研究动机与目标

• 解决在罕见或新类别标注边界框不足的低数据环境下目标检测的挑战。
• 实现检测模型对新类别的快速适应，仅需少量标注样本，模仿人类的少样本学习能力。
• 设计一种检测框架，通过特征重加权有效实现从基础类别到新类别的知识迁移。
• 在传统CNN因数据稀缺而过拟合的少样本设置下，提升泛化能力和检测准确率。

提出的方法

• 该模型使用元特征学习器从基础类别（具有丰富训练数据）中提取可泛化的特征。
• 轻量级重加权模块接收支持图像（含目标掩码）并生成类别特定的重加权向量，用于调制查询图像的特征。
• 重加权向量自适应地强调与每个新类别相关的判别性元特征，从而提升检测性能。
• 整个系统采用基于元任务的少样本学习方案进行端到端训练，并使用精心设计的损失函数。
• 该框架基于单阶段检测器架构，并在深层特征层（例如第21层）应用重加权以实现最佳性能。
• 模型使用Softmax损失进行多类别分类，相比二元损失能有效抑制冗余检测，表现更优。

实验结果

研究问题

• RQ1 能否训练一个检测模型，仅使用少量标注样本即可泛化到新物体类别？
• RQ2 如何有效重加权来自基础类别的元特征以检测新物体？
• RQ3 支持输入（图像、掩码、裁剪物体）的最佳位置和形式是什么，以实现有效的重加权？
• RQ4 损失函数的选择（如Softmax与二元损失）如何影响少样本检测性能？
• RQ5 与标准微调相比，重加权机制是否能提升检测速度和准确率？

主要发现

• 在PASCAL VOC数据集的10-shot设置下，所提模型在新类别上达到47.2%的mAP，显著优于次佳基线模型超过5个百分点。
• 与单二元损失相比，使用Softmax损失进行分类使新类别mAP提升32.4%（从14.8%提升至47.2%）。
• 在深层（如第21层）应用重加权的性能优于浅层（如第13层），mAP达到47.2% vs. 40.7%。
• 在支持输入中加入二值掩码可使新类别性能提升3.9%，相比仅使用图像，证明了精确定位的重要性。
• 该模型在基础类别上也保持了强劲性能（69.7% mAP），同时在新类别上实现高准确率，表明知识迁移有效。
• 消融实验表明，仅对第21层的一半特征进行重加权时性能下降极小（46.9% vs. 47.2%），表明类别间特征共享是有效的。