[论文解读] Dynamic Relevance Learning for Few-Shot Object Detection

Weijie Liu, Chong Wang+3 more|arXiv (Cornell University)|Aug 4, 2021

Advanced Neural Network Applications参考文献 50被引用 14

一句话总结

本文提出了一种用于少样本目标检测的动态相关性学习框架，通过动态图卷积网络（GCN）建模支持图像与查询图像中区域提议（RoIs）之间的关系。通过利用支持图像间的相互作用以及支持图像与RoI之间的交互，该方法借助一个困难的辅助分类任务增强特征表示，在Pascal VOC和MS-COCO上实现了最先进性能，相较于先前基于元学习的检测器显著提升了mAP。

ABSTRACT

Expensive bounding-box annotations have limited the development of object detection task. Thus, it is necessary to focus on more challenging task of few-shot object detection. It requires the detector to recognize objects of novel classes with only a few training samples. Nowadays, many existing popular methods adopting training way similar to meta-learning have achieved promising performance, such as Meta R-CNN series. However, support data is only used as the class attention to guide the detecting of query images each time. Their relevance to each other remains unexploited. Moreover, a lot of recent works treat the support data and query images as independent branch without considering the relationship between them. To address this issue, we propose a dynamic relevance learning model, which utilizes the relationship between all support images and Region of Interest (RoI) on the query images to construct a dynamic graph convolutional network (GCN). By adjusting the prediction distribution of the base detector using the output of this GCN, the proposed model serves as a hard auxiliary classification task, which guides the detector to improve the class representation implicitly. Comprehensive experiments have been conducted on Pascal VOC and MS-COCO dataset. The proposed model achieves the best overall performance, which shows its effectiveness of learning more generalized features. Our code is available at https://github.com/liuweijie19980216/DRL-for-FSOD.

研究动机与目标

• 为解决现有少样本目标检测方法将支持图像与查询RoIs独立处理、忽略其相互依赖关系的局限性。
• 通过显式建模支持图像之间的关系以及支持图像与查询区域提议（RoIs）之间的关系，提升少样本检测中的泛化能力。
• 通过源自动态图交互的困难辅助分类任务增强特征学习，引导基础检测器学习更具判别性的表征。
• 在标准少样本目标检测基准上实现最先进性能，尤其在标注样本有限的低样本设置下表现优异。

提出的方法

• 构建一个动态图，其中节点代表支持图像和查询图像中的RoIs，边根据特征相似度动态加权。
• 应用图卷积网络（GCNs）在动态图上聚合并优化特征，捕捉支持图像内部及跨支持图像之间的关系。
• 利用GCN输出对基础检测器的预测分布进行注意力机制加权，作为困难的辅助分类头。
• 将动态相关性模块作为即插即用模块集成到现有基于元学习的检测器（如Meta R-CNN）中，无需架构重构。
• 使用最终检测头和基于GCN的辅助分类头的交叉熵损失进行端到端训练。
• 采用主干网络的特征图作为基础检测器和动态相关性模块的输入，确保特征层级对齐。

实验结果

研究问题

• RQ1 建模少样本支持图像之间的相互关系是否能提升检测性能？
• RQ2 捕捉支持图像与查询区域提议（RoIs）之间的跨关系是否能带来更好的少样本检测特征泛化？
• RQ3 基于动态图的机制能否作为有效的辅助任务，提升基础检测器的表征学习能力？
• RQ4 在零样本和少样本泛化方面，该方法相较于现有基于元学习的检测器表现如何？

主要发现

• 所提方法在Pascal VOC少样本目标检测基准上实现了最先进性能，优于先前基于元学习的方法。
• 在MS-COCO上，模型在5-shot检测中达到26.8%的平均平均精度（mAP），展现出在低样本条件下的强大泛化能力。
• 消融实验表明，建模支持图像内部关系及支持图像与RoI之间的关系对性能提升具有显著贡献。
• 动态图构建机制提升了特征判别能力，t-SNE可视化结果表明类别间分离更加清晰。
• 辅助GCN头起到了强正则化作用，有效缓解了在有限支持数据上的过拟合。
• 该方法在不同主干网络架构下均表现有效，可无缝集成到现有检测流程中。