[论文解读] Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation

Hyeongjun Kwon, Somi Jeong+2 more|ArXiv.org|Nov 9, 2021

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

该论文提出了一种用于少样本语义分割的双原型对比学习（DPCL）方法，通过联合优化类别特定与类别无关的对比损失，增强特征表示，从而提升类间分离度与类内紧凑性。该方法在PASCAL-5i与COCO-20i基准上实现了最先进性能，在1-shot设置下mIoU相比之前方法最高提升10.5%，且无需额外解码模块。

ABSTRACT

We address the problem of few-shot semantic segmentation (FSS), which aims to segment novel class objects in a target image with a few annotated samples. Though recent advances have been made by incorporating prototype-based metric learning, existing methods still show limited performance under extreme intra-class object variations and semantically similar inter-class objects due to their poor feature representation. To tackle this problem, we propose a dual prototypical contrastive learning approach tailored to the FSS task to capture the representative semanticfeatures effectively. The main idea is to encourage the prototypes more discriminative by increasing inter-class distance while reducing intra-class distance in prototype feature space. To this end, we first present a class-specific contrastive loss with a dynamic prototype dictionary that stores the class-aware prototypes during training, thus enabling the same class prototypes similar and the different class prototypes to be dissimilar. Furthermore, we introduce a class-agnostic contrastive loss to enhance the generalization ability to unseen classes by compressing the feature distribution of semantic class within each episode. We demonstrate that the proposed dual prototypical contrastive learning approach outperforms state-of-the-art FSS methods on PASCAL-5i and COCO-20i datasets. The code is available at:https://github.com/kwonjunn01/DPCL1.

研究动机与目标

• 解决在极端类内差异与语义相似类间对象下，少样本语义分割（FSS）的泛化能力有限的问题。
• 通过在嵌入空间中强制实现类内特征紧凑与类间原型分离，提升特征表示能力。
• 通过引入泛化感知对比学习，克服基于原型方法对已见类的过拟合倾向。
• 设计一种轻量化框架，在不引入复杂推理时子模块的前提下提升性能。

提出的方法

• 引入基于动态原型字典的类别特定对比损失，该字典在各训练周期中维护类别原型的动量移动平均。
• 将动态原型字典用作负样本队列，以增强类间分离与类内紧凑性。
• 提出一种类别无关的对比损失，压缩每个周期内目标类的特征分布，提升对未见类的鲁棒性。
• 融合多层特征（来自ResNet-50的l2、l3、l4层）以增强语义与空间表征，实现更优分割效果。
• 在原型层面应用对比学习，以优化类别嵌入，而无需修改主干网络或增加推理时模块。
• 使用t-SNE可视化验证DPCL在嵌入空间中生成的原型分布更具紧凑性与分离性。

实验结果

研究问题

• RQ1 联合优化类别特定与类别无关的对比学习是否能提升少样本语义分割中的特征可分性？
• RQ2 与标准基于原型的方法相比，双对比学习在泛化到未见类方面有何提升？
• RQ3 多层特征融合在低样本场景下对分割精度的提升程度如何？
• RQ4 动态原型字典是否能有效作为 episodic 训练中大规模负样本记忆？

主要发现

• 在PASCAL-5i上，DPCL在1-way 1-shot设置下达到53.39%的mIoU，较基线提升3.7%，显著优于先前方法。
• 在PASCAL-5i的5-shot设置下，DPCL在不使用额外无标签数据的情况下，mIoU较PANet基线提升约4%。
• 在COCO-20i上，DPCL在1-shot设置下较之前最先进方法提升10.5%的mIoU，在5-shot设置下提升6.1%。
• 消融实验表明，结合类别特定与类别无关对比损失可获得最高性能增益，较基线提升3.7%。
• t-SNE可视化显示，DPCL生成的原型分布比基线更紧凑且分离度更高，证实了特征可分性的提升。
• 多层特征融合（l2、l3、l4）表现最佳，证明了结合低层与高层语义特征的优势。