[论文解读] Breaking Immutable: Information-Coupled Prototype Elaboration for Few-Shot Object Detection

Xiaonan Lu, Wenhui Diao+5 more|arXiv (Cornell University)|Nov 27, 2022

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出了一种新型少样本目标检测方法——信息耦合原型精炼（ICPE），通过条件信息耦合模块将查询感知信息注入支持特征，并利用图像内与图像间注意力机制动态聚合显著特征，从而提升原型质量。ICPE在Pascal VOC和MS COCO数据集上均达到当前最优性能，在COCO数据集的10-shot和30-shot设置下，mAP提升超过10%。

ABSTRACT

Few-shot object detection, expecting detectors to detect novel classes with a few instances, has made conspicuous progress. However, the prototypes extracted by existing meta-learning based methods still suffer from insufficient representative information and lack awareness of query images, which cannot be adaptively tailored to different query images. Firstly, only the support images are involved for extracting prototypes, resulting in scarce perceptual information of query images. Secondly, all pixels of all support images are treated equally when aggregating features into prototype vectors, thus the salient objects are overwhelmed by the cluttered background. In this paper, we propose an Information-Coupled Prototype Elaboration (ICPE) method to generate specific and representative prototypes for each query image. Concretely, a conditional information coupling module is introduced to couple information from the query branch to the support branch, strengthening the query-perceptual information in support features. Besides, we design a prototype dynamic aggregation module that dynamically adjusts intra-image and inter-image aggregation weights to highlight the salient information useful for detecting query images. Experimental results on both Pascal VOC and MS COCO demonstrate that our method achieves state-of-the-art performance in almost all settings.

研究动机与目标

• 为解决少样本目标检测中不可变、非查询感知原型的局限性。
• 通过将查询图像中的感知信息融入支持特征学习，提升原型的代表性。
• 缓解原型聚合过程中因均匀平均导致的判别性目标特征模糊问题。
• 动态强调支持图像中显著的区域，以及与查询最相似的关键支持图像。
• 生成与查询相关的高质量原型，以适应多样的查询图像上下文。

提出的方法

• 条件信息耦合模块将查询特征融合进支持特征，向支持表征中注入查询感知上下文。
• 原型动态聚合模块包含图像内机制，用于建立局部到全局的依赖关系，以突出每张支持图像中的重要区域。
• 图像间动态聚合机制通过学习与查询的图像相似性，为更相关的支持图像分配更高的权重。
• 在图像内与图像间模块中均使用可学习注意力权重，根据查询上下文动态调整特征聚合。
• 耦合后的特征通过原型生成头处理，生成用于检测的查询自适应原型。
• 该框架采用元学习范式，通过支持集与查询集的 episodic 训练方式端到端训练。

实验结果

研究问题

• RQ1 如何使少样本目标检测中的原型更适应每张查询图像的特定上下文？
• RQ2 查询感知信息在多大程度上能提升基于支持的原型的代表性？
• RQ3 动态特征聚合能否在原型构建过程中优于均匀平均，更好地保留判别性目标特征？
• RQ4 图像内与图像间注意力机制如何协同提升少样本检测中的原型质量？
• RQ5 所提出方法在MS COCO等复杂真实世界数据集上是否具有良好的泛化能力？

主要发现

• 在COCO数据集的10-shot设置下，ICPE达到19.3%的mAP，30-shot设置下达到23.1%，相比Meta R-CNN提升超过10%。
• 仅使用条件信息耦合模块，Pascal VOC数据集在所有shot设置下mAP提升5.2%。
• 原型动态聚合模块独立使用时带来3.7%的mAP增益，与耦合模块结合后提升达7.8%。
• 与基线池化方法相比，图像内动态注意力机制（Intra-DAM）使mAP提升2.7%，图像间动态注意力机制（Inter-DAM）进一步平均提升3.7%。
• 消融实验表明，查询-键特征图$f(Q,K)$中使用1024个通道时性能最优，可避免欠拟合或过拟合。
• 计算成本增加微乎其微，相比Meta R-CNN仅略有上升的参数量与FLOPs，表明方法具有高效性。