[论文解读] MM-FSOD: Meta and metric integrated few-shot object detection

Yuewen Li, Wenquan Feng+3 more|arXiv (Cornell University)|Dec 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用 8

一句话总结

该论文提出MM-FSOD，一种新颖的少样本目标检测框架，通过整合元学习与度量学习，实现在无需微调的情况下对新类别进行快速、类别无关的目标检测。通过引入用于特征重建的元表示模块和基于皮尔逊相关系数的度量模块，MM-FSOD在FSOD、COCO和PASCAL VOC数据集上均达到最先进性能，在5-shot设置下AP50指标相比之前方法最高提升18%。

ABSTRACT

In the object detection task, CNN (Convolutional neural networks) models always need a large amount of annotated examples in the training process. To reduce the dependency of expensive annotations, few-shot object detection has become an increasing research focus. In this paper, we present an effective object detection framework (MM-FSOD) that integrates metric learning and meta-learning to tackle the few-shot object detection task. Our model is a class-agnostic detection model that can accurately recognize new categories, which are not appearing in training samples. Specifically, to fast learn the features of new categories without a fine-tuning process, we propose a meta-representation module (MR module) to learn intra-class mean prototypes. MR module is trained with a meta-learning method to obtain the ability to reconstruct high-level features. To further conduct similarity of features between support prototype with query RoIs features, we propose a Pearson metric module (PR module) which serves as a classifier. Compared to the previous commonly used metric method, cosine distance metric. PR module enables the model to align features into discriminative embedding space. We conduct extensive experiments on benchmark datasets FSOD, MS COCO, and PASCAL VOC to demonstrate the feasibility and efficiency of our model. Comparing with the previous method, MM-FSOD achieves state-of-the-art (SOTA) results.

研究动机与目标

• 为解决仅用少量标注样本检测新物体类别的问题，减少对大规模标注数据集的依赖。
• 克服现有少样本目标检测方法依赖类别特定适应或次优距离度量（如余弦相似度）的局限性。
• 开发一种类别无关的检测框架，实现对未见类别的泛化，且无需微调。
• 通过增强类间分离度与减少类内方差，提升深度特征空间中的特征判别能力。

提出的方法

• 提出一种元表示（MR）模块，通过元学习利用类内均值原型重建低层特征，实现对新类别的快速适应。
• 引入一种基于皮尔逊相关系数的度量模块（PR），通过皮尔逊相关系数计算支持集原型与查询区域（RoI）之间的相似度，相比余弦距离，对特征耦合与背景方差更具鲁棒性。
• 采用受模型无关元学习（MAML）启发的基于任务的训练范式，训练MR模块以实现对新类别快速收敛。
• 用基于度量的相似度函数替代最终分类层，支持端到端训练，优化判别性特征嵌入。
• 引入特征重建目标，使MR模块基于支持集原型预测查询RoI特征，从而提升特征表示质量。
• 结合元学习实现快速适应与度量学习实现判别性嵌入，构建统一的少样本目标检测框架。

实验结果

研究问题

• RQ1 元学习能否被有效重新用于特征重建而非分类任务，以提升少样本目标检测性能？
• RQ2 在复杂背景条件下，皮尔逊相关系数与余弦距离在少样本目标检测中测量特征相似度时表现如何比较？
• RQ3 无微调或类别特定适应的情况下，类别无关的检测模型能否在新类别上实现高性能？
• RQ4 通过类内原型进行特征重建，在少样本检测中对泛化能力与类间分离度的提升程度如何？

主要发现

• MM-FSOD在FSOD、MS COCO与PASCAL VOC数据集的少样本设置下均达到最先进性能，展现出对新类别的强大泛化能力。
• 在FSOD数据集上，使用皮尔逊距离相比余弦距离使AP50提升18%；在COCO数据集上提升16.6%，证明其在相似度度量上的优越性。
• 元表示（MR）模块成功重建了查询RoI特征，并将其聚类至对应类内的原型附近，显著增强了特征判别性。
• 消融实验表明，MR模块与PR模块均不可或缺，二者结合可带来最高性能增益。
• 可视化结果表明，MM-FSOD在复杂背景中仍能准确检测新类别，绝大多数情况下误检与漏检极少。
• 模型在新类别上实现快速收敛，无需微调，证实其在目标检测中零样本泛化的有效性。