[论文解读] Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment

Guangxing Han, Shiyuan Huang+3 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Neural Network Applications被引用 11

一句话总结

本文提出 Meta Faster R-CNN，一种基于元学习的少样本目标检测框架，通过轻量级原型匹配网络和注意力特征对齐机制，提升少样本类别的候选框生成与分类性能。该方法在多个基准测试中取得最先进性能，尤其在极端少样本设置（1/2-shot）下表现优异，且推理阶段无需微调。

ABSTRACT

Few-shot object detection (FSOD) aims to detect objects using only a few examples. How to adapt state-of-the-art object detectors to the few-shot domain remains challenging. Object proposal is a key ingredient in modern object detectors. However, the quality of proposals generated for few-shot classes using existing methods is far worse than that of many-shot classes, e.g., missing boxes for few-shot classes due to misclassification or inaccurate spatial locations with respect to true objects. To address the noisy proposal problem, we propose a novel meta-learning based FSOD model by jointly optimizing the few-shot proposal generation and fine-grained few-shot proposal classification. To improve proposal generation for few-shot classes, we propose to learn a lightweight metric-learning based prototype matching network, instead of the conventional simple linear object/nonobject classifier, e.g., used in RPN. Our non-linear classifier with the feature fusion network could improve the discriminative prototype matching and the proposal recall for few-shot classes. To improve the fine-grained few-shot proposal classification, we propose a novel attentive feature alignment method to address the spatial misalignment between the noisy proposals and few-shot classes, thus improving the performance of few-shot object detection. Meanwhile we learn a separate Faster R-CNN detection head for many-shot base classes and show strong performance of maintaining base-classes knowledge. Our model achieves state-of-the-art performance on multiple FSOD benchmarks over most of the shots and metrics.

研究动机与目标

• 解决少样本类别中目标候选框质量差的问题，此类问题常因训练样本有限而导致边界框遗漏或错位。
• 通过引入非线性、基于度量的原型匹配机制，克服传统 RPN 和线性分类器在少样本设置下的局限性。
• 通过显式处理候选框与少样本目标特征之间的空间错位问题，提升细粒度候选框分类性能。
• 通过为基础类别和新类别学习独立的 Faster R-CNN 头，实现检测任务的解耦，从而在不重新训练的情况下支持增量式类别添加，同时保持高性能。
• 通过元学习实现新类别的零样本部署，推理阶段仅需计算原型，避免耗时的微调过程。

提出的方法

• 提出 Meta-RPN，用非线性、基于度量学习的原型匹配网络替代 RPN 中的标准线性分类器，为少样本类别生成类别特定的候选框。
• 使用特征融合网络通过结合多尺度特征来增强原型匹配能力，提升少样本类别的判别性能。
• 引入注意力特征对齐模块，通过估计候选框特征与类别原型之间的软对应关系图，纠正空间错位问题。
• 基于软对应关系图应用空间注意力机制，对齐特征并聚焦于前景区域，再计算与原型的相似度。
• 在基础类别上使用元学习端到端训练整个模型，推理时仅通过支持图像计算原型即可实现零样本推理。
• 为基础类别维护一个独立的检测头，该头在丰富数据上进行训练，确保高性能，同时与少样本检测头解耦。

实验结果

研究问题

• RQ1 在训练数据极度有限的情况下，基于元学习的方法是否能提升少样本目标检测的候选框生成质量？
• RQ2 与线性分类器相比，结合特征融合的非线性原型匹配网络在提升少样本类别的召回率和判别能力方面效果如何？
• RQ3 注意力特征对齐机制在多大程度上缓解了噪声候选框与少样本目标特征之间的空间错位问题？
• RQ4 为基础类别设计独立检测头是否能在不进行微调的情况下，既保持高性能，又能实现新类别的增量学习？
• RQ5 在标准基准测试的极端少样本场景（如 1/2-shot）下，仅使用元学习的推理策略与微调方法相比表现如何？

主要发现

• 所提出的 Meta Faster R-CNN 在多个少样本目标检测基准上达到最先进性能，尤其在 1/2-shot 设置下表现突出，而在此类设置下微调方法常会失效。
• 仅使用元学习的模型优于强基线方法，在 MSCOCO 1/2-shot 基准测试中表现与甚至超过使用微调的最先进方法，尤其在更具挑战性的设置中。
• 在极少数样本场景（如 1/2-shot）中，该模型表现出卓越性能，而微调方法在此类场景下往往无效，证明了元学习方法的鲁棒性。
• 为基础类别设计的独立检测头显著提升了性能，相比联合 softmax 分类器的检测器，有效缩小了元测试性能与全监督性能之间的差距。
• 注意力特征对齐机制有效减少了空间错位，从而提升了少样本候选框分类的准确性。
• 该模型支持无需重训练或微调的增量类别添加，推理阶段仅需计算原型，因此适用于真实场景部署。