[论文解读] Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection

Hanzhe Hu, Shuai Bai+3 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Neural Network Applications参考文献 33被引用 14

一句话总结

本文提出DCNet，一种新颖的少样本目标检测框架，通过密集关系蒸馏（DRD）和上下文感知特征聚合（CFA）增强特征学习。DRD通过查询与支持特征之间的像素级匹配，保留细粒度细节；CFA则利用注意力机制自适应融合多尺度RoI特征。该方法在PASCAL VOC和MS COCO基准上实现了最先进性能。

ABSTRACT

Conventional deep learning based methods for object detection require a large amount of bounding box annotations for training, which is expensive to obtain such high quality annotated data. Few-shot object detection, which learns to adapt to novel classes with only a few annotated examples, is very challenging since the fine-grained feature of novel object can be easily overlooked with only a few data available. In this work, aiming to fully exploit features of annotated novel object and capture fine-grained features of query object, we propose Dense Relation Distillation with Context-aware Aggregation (DCNet) to tackle the few-shot detection problem. Built on the meta-learning based framework, Dense Relation Distillation module targets at fully exploiting support features, where support features and query feature are densely matched, covering all spatial locations in a feed-forward fashion. The abundant usage of the guidance information endows model the capability to handle common challenges such as appearance changes and occlusions. Moreover, to better capture scale-aware features, Context-aware Aggregation module adaptively harnesses features from different scales for a more comprehensive feature representation. Extensive experiments illustrate that our proposed approach achieves state-of-the-art results on PASCAL VOC and MS COCO datasets. Code will be made available at https://github.com/hzhupku/DCNet.

研究动机与目标

• 为解决少样本目标检测中标注数据有限的问题，即模型仅从少数样本中难以泛化。
• 克服现有元学习方法中全局池化导致的局部上下文和判别性特征丢失问题。
• 缓解因修改特征提取器而引发的尺度变化问题，避免在少样本检测中过拟合。
• 通过充分挖掘支持集信息并捕捉尺度感知的上下文线索，提升特征表示能力。

提出的方法

• 密集关系蒸馏（DRD）模块通过键和值特征图，实现查询与支持特征之间的像素级匹配，以编码视觉语义和详细外观信息。
• DRD用密集特征匹配替代全局池化，使模型能够利用细粒度局部特征，在低样本条件下实现更好泛化。
• 上下文感知特征聚合（CFA）模块采用三种不同分辨率的RoI池化，以捕获多尺度上下文信息。
• 采用注意力机制自适应融合不同尺度的特征，平衡各部分贡献，保留对不同物体尺寸至关重要的上下文信息。
• 该框架基于元学习的检测主干网络构建，DRD与CFA作为即插即用模块集成，无需类别特定微调。
• 模型采用标准检测损失端到端训练，推理阶段通过单次前向传播，利用支持特征作为上下文进行预测。

实验结果

研究问题

• RQ1 查询与支持特征之间的密集像素级匹配是否能通过保留局部和判别性特征，提升少样本目标检测性能？
• RQ2 结合自适应注意力的多尺度特征聚合如何提升在低样本场景下对不同物体尺寸的检测鲁棒性？
• RQ3 将全局池化替换为密集关系蒸馏是否能带来显著性能提升，特别是在极端低样本设置下？
• RQ4 上下文感知特征聚合在多大程度上可减少过拟合并提升在基础类与新类上的泛化能力？

主要发现

• 密集关系蒸馏（DRD）模块在PASCAL VOC的所有样本设置下均实现稳定性能提升，尤其在低样本设置中表现最显著。
• 上下文感知特征聚合（CFA）模块通过保留尺度感知的上下文信息，显著提升检测性能，减少误检和漏检。
• 采用三种不同RoI池化分辨率并结合注意力融合机制的方案表现最佳，优于单一分辨率基线模型。
• 消融实验验证DRD与CFA模块均不可或缺，二者结合在PASCAL VOC和MS COCO上均达到最先进结果。
• 在MS COCO上，DCNet在10/30-shot设置下的多数指标中达到最先进水平，展现出在大规模、复杂数据集上的强大泛化能力。
• 可视化结果表明，DRD增强了查询特征激活，并实现了对所有类别同时进行的、与类别无关的关系建模。