[论文解读] SPCL: A New Framework for Domain Adaptive Semantic Segmentation via Semantic Prototype-based Contrastive Learning

Binhui Xie, Li, Mingjia+1 more|arXiv (Cornell University)|Nov 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 68被引用 5

一句话总结

本文提出SPCL，一种新颖的领域自适应语义分割框架，通过基于语义原型的对比学习增强细粒度类别对齐。通过从源域标签构建动态语义原型，并利用对比损失将源域和目标域的像素特征对齐至这些原型，SPCL提升了类内紧凑性和类间可分性，在GTA5→Cityscapes和SYNTHIA→Cityscapes基准上分别实现了52.1%和47.2%的mIoU，达到当前最优性能。

ABSTRACT

Although there is significant progress in supervised semantic segmentation, it remains challenging to deploy the segmentation models to unseen domains due to domain biases. Domain adaptation can help in this regard by transferring knowledge from a labeled source domain to an unlabeled target domain. Previous methods typically attempt to perform the adaptation on global features, however, the local semantic affiliations accounting for each pixel in the feature space are often ignored, resulting in less discriminability. To solve this issue, we propose a novel semantic prototype-based contrastive learning framework for fine-grained class alignment. Specifically, the semantic prototypes provide supervisory signals for per-pixel discriminative representation learning and each pixel of source and target domains in the feature space is required to reflect the content of the corresponding semantic prototype. In this way, our framework is able to explicitly make intra-class pixel representations closer and inter-class pixel representations further apart to improve the robustness of the segmentation model as well as alleviate the domain shift problem. Our method is easy to implement and attains superior results compared to state-of-the-art approaches, as is demonstrated with a number of experiments. The code is publicly available at https://github.com/BinhuiXie/SPCL.

研究动机与目标

• 通过提升源域与目标域之间的特征判别性，解决语义分割中的领域偏移问题。
• 克服全局或粗粒度类别对齐方法在保持局部语义一致性方面的局限性。
• 通过语义原型显式增强像素级别的类内紧凑性与类间可分性。
• 开发一种简单而有效的框架，利用自监督与对比学习实现无监督领域自适应。
• 在标准跨域语义分割基准上实现卓越性能。

提出的方法

• 利用源域的真值标签为每个类别构建动态语义原型，作为监督信号。
• 使用目标域的伪标签将像素分组为特定类别的子集，以实现原型对齐。
• 为两个域分别构建正样本对（相同类别）和负样本对（不同类别）。
• 引入对比损失，促使每个像素表征与其对应语义原型接近，同时远离其他原型。
• 应用自监督损失，进一步在目标域上优化特征表示。
• 在训练过程中动态更新原型，以提高可靠性并避免分布漂移。

实验结果

研究问题

• RQ1 由语义原型引导的像素级判别性表征学习是否能提升语义分割中的领域自适应性能？
• RQ2 通过原型基对比学习实现的细粒度类别对齐，是否比全局或粗粒度对齐更有效地缓解领域偏移？
• RQ3 与先前最先进方法相比，该方法在长尾类和边界类上的表现如何？
• RQ4 对比损失与自监督损失组件对整体性能的贡献分别是什么？
• RQ5 当学习率和原型更新权重等超参数变化时，该方法的鲁棒性如何？

主要发现

• 在GTA5→Cityscapes基准上，SPCL实现了52.1%的mIoU，相比基线方法AdaptSegNet提升了+10.7个百分点。
• 在SYNTHIA→Cityscapes基准上，SPCL实现了47.2%的mIoU，相比基线方法提升了+8.0个百分点。
• 该方法在长尾类别上表现出显著增益，GTA5→Cityscapes和SYNTHIA→Cityscapes的mIoU尾部类别提升分别达到+12.3%和+10.5%。
• t-SNE可视化结果表明，SPCL生成的特征表示比先前方法更具判别性与一致性。
• 消融实验表明，同时使用源域与目标域的对比损失可带来最高性能增益（在GTA5→Cityscapes上提升+7.8% mIoU）。
• 该方法对超参数变化具有鲁棒性，当原型动态更新（α < 1.0）而非固定时，可获得最优性能。