[论文解读] SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation

Binhui Xie, Shuang Li+4 more|arXiv (Cornell University)|Apr 19, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

SePiCo 提出了一种单阶段域自适应语义分割框架，通过语义引导的像素对比提升自训练效果，利用类别中心和分布感知原型学习跨域中判别性、类别平衡的表示。它通过闭式对比损失隐式建模无限（不）相似像素对，在合成到真实和白天到夜晚的基准上实现了最先进性能，显著提升了泛化能力和训练稳定性。

ABSTRACT

Domain adaptive semantic segmentation attempts to make satisfactory dense predictions on an unlabeled target domain by utilizing the supervised model trained on a labeled source domain. In this work, we propose Semantic-Guided Pixel Contrast (SePiCo), a novel one-stage adaptation framework that highlights the semantic concepts of individual pixels to promote learning of class-discriminative and class-balanced pixel representations across domains, eventually boosting the performance of self-training methods. Specifically, to explore proper semantic concepts, we first investigate a centroid-aware pixel contrast that employs the category centroids of the entire source domain or a single source image to guide the learning of discriminative features. Considering the possible lack of category diversity in semantic concepts, we then blaze a trail of distributional perspective to involve a sufficient quantity of instances, namely distribution-aware pixel contrast, in which we approximate the true distribution of each semantic category from the statistics of labeled source data. Moreover, such an optimization objective can derive a closed-form upper bound by implicitly involving an infinite number of (dis)similar pairs, making it computationally efficient. Extensive experiments show that SePiCo not only helps stabilize training but also yields discriminative representations, making significant progress on both synthetic-to-real and daytime-to-nighttime adaptation scenarios.

研究动机与目标

• 为解决现有域自适应方法在处理跨域语义变化和因忽略类内紧凑性与类间分离性而导致的特征判别性差的局限性。
• 通过显式建模跨域像素间的语义关系，改进域自适应语义分割中的自训练过程。
• 在不依赖分阶段训练或复杂初始化的前提下，学习结构良好、类别判别性强且平衡的像素表示。
• 设计一种计算高效的对比损失，通过闭式上界隐式包含无限多对（不）相似像素对。

提出的方法

• 引入基于整个源域全局类别原型和存储在内存库中的每张图像局部类别中心的中心感知像素对比。
• 提出分布感知像素对比，通过标注源数据中每个语义类别的整体分布来引导语义对齐。
• 推导出分布感知对比损失的闭式上界，实现无需显式采样负样本的高效优化。
• 采用轻量级投影头在教师-学生框架中创建新的像素嵌入空间，两模型均处理源域和目标域图像。
• 将对比损失整合到单阶段自训练流程中，避免多阶段训练带来的误差放大。
• 使用置信度估计和一致性正则化在训练过程中优化伪标签，提升对噪声预测的鲁棒性。

实验结果

研究问题

• RQ1 语义引导的像素对比能否提升域自适应语义分割中的特征判别性和泛化能力？
• RQ2 引入全局和局部类别原型如何影响跨域中类别平衡表示的学习？
• RQ3 在无显式负样本采样的情况下，建模语义类别的真实分布能否带来更稳定有效的对比学习？
• RQ4 与分阶段方法相比，基于语义引导对比的单阶段自训练框架在准确率和训练效率方面是否更具优势？
• RQ5 所提方法在多样化的域偏移场景（如合成到真实、白天到夜晚）中具有多大程度的泛化能力？

主要发现

• 在使用 DeepLab-V2 的 GTAV-to-Cityscapes 基准上，SePiCo 达到 61.0 mIoU，显著优于 Source Only（38.6 mIoU）和 DACS（52.1 mIoU）。
• 在更具挑战性的基于 DAFormer 和 SegFormer-Mit-B5 的设置下，SePiCo 达到 70.3 mIoU，超过 DAFormer（68.3 mIoU）和 Source Only（44.5 mIoU）。
• 通过 LogME 测量，该方法提升了模型的可迁移性，表明其泛化能力强于 CAG-UDA 和 ProDA，且在所有训练阶段均表现更优。
• 吞吐量分析显示，SePiCo 仅带来微小的计算开销——使用 SegFormer-Mit-B5 时每轮迭代仅增加 1.45 秒，相比 DAFormer（1.33 秒）性能更优。
• 消融实验表明，中心感知和分布感知对比组件均对性能有显著贡献，其中分布感知对比贡献最大。
• 对比损失的闭式上界使训练更加稳定，并实现高效优化，无需显式负样本挖掘或大内存开销。