[论文解读] Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning

Weizhe Liu, David Ferstl+4 more|arXiv (Cornell University)|Apr 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用 25

一句话总结

该论文提出了一种用于无监督与半监督领域自适应的基于补丁的对比学习方法，避免对抗训练，在目标注释有限的情况下达到状态-of-the-art。

ABSTRACT

We introduce a novel approach to unsupervised and semi-supervised domain adaptation for semantic segmentation. Unlike many earlier methods that rely on adversarial learning for feature alignment, we leverage contrastive learning to bridge the domain gap by aligning the features of structurally similar label patches across domains. As a result, the networks are easier to train and deliver better performance. Our approach consistently outperforms state-of-the-art unsupervised and semi-supervised methods on two challenging domain adaptive segmentation tasks, particularly with a small number of target domain annotations. It can also be naturally extended to weakly-supervised domain adaptation, where only a minor drop in accuracy can save up to 75% of annotation cost.

研究动机与目标

• 通过在标签空间对齐跨域特征实现补丁级结构相似性来弥合领域差距。
• 使用对比学习替代对抗目标进行领域对齐。
• 通过伪标签和熵正则化来利用未标记数据，提高目标域性能。
• 在无监督（UDA）、半监督（SSDA）和弱监督设置下证明有效性，以降低标注成本。

提出的方法

• 将图像表示为补丁，并通过编码器和补丁感知的潜在投影器学习每个补丁的潜在特征。
• 使用金字塔状标注直方图在三个层次定义一个跨补丁的语义差异D（标签空间的空间金字塔匹配），以确定对比学习中的正/负补丁对。
• 构造补丁级对比损失L_cont，使来自源/目标的相似補丁（低D）更靠近，彼此拉开距离。
• 使用基本损失L_base，结合带有标注源/目标数据的监督交叉熵和未标记数据的熵正则化损失以减少不确定性。
• 可选地为未标记的目标样本生成伪标签，形成L_self，提升SSDA性能。
• 将傅立叶域自适应（FDA）引入到训练前先将源图像转换到目标域。
• 采用分阶段训练策略：先优化基本损失，然后再联合优化对比和自训练项。

实验结果

研究问题

• RQ1 跨域的补丁级对比对齐是否能优于对抗特征对齐在语义分割中的效果？
• RQ2 如何利用标签空间的结构差异来定义有意义的跨域正/负补丁对？
• RQ3 未标记目标数据和伪标签对语义分割的SSDA性能有何影响？
• RQ4 在不显著降低性能的情况下，注释可以减少到多小规模（弱监督）？

主要发现

标注数	道路	人行道	建筑物	墙壁	栅栏	电杆	灯光	标志	植被	地形	天空	人	骑手	汽车	卡车	公交车	火车	摩托车	自行车	mIoU
0	MinEnt	84.4	18.7	80.6	23.8	23.2	28.4	36.9	23.4	83.2	25.2	79.4	59.0	29.9	78.5	33.7	29.6	1.7	29.9	33.6	42.30
0	AdvEnt	89.9	36.5	81.6	29.2	25.2	28.5	32.3	22.4	83.9	34.0	77.1	57.4	27.9	83.7	29.4	39.1	1.5	28.4	23.3	43.80
0	FDA	92.5	53.3	82.4	26.5	27.6	36.4	40.6	38.9	82.3	39.8	78.0	62.6	34.4	84.9	34.1	53.1	16.9	27.7	46.4	50.45
0	OURS	93.3	54.2	83.0	25.9	28.1	37.2	41.1	39.3	83.1	38.9	78.2	61.3	36.2	84.2	35.8	54.0	18.1	26.7	47.5	50.85

• 提出的基于补丁的对比方法在无监督和半监督领域自适应语义分割任务上持续超越状态-of-the-art。
• 在SSDA中，当目标域注释稀缺（如50–100张图像）时，该方法相对于完全监督基线取得更大提升。
• 使用FDA将源域翻译到目标域并结合补丁级对比损失可提升域自适应性能。
• 由于对比学习的非极小极大性质，该方法训练更易收敛且比对抗方法更稳定。
• 弱监督场景（部分注释）仍可保持较强性能，注释成本最多可降低约75%，且精度损失很小。