[论文解读] Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation

Jiaxing Huang, Shijian Lu+2 more|arXiv (Cornell University)|Jul 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用 11

一句话总结

本文提出了一种新型无监督域自适应方法——上下文关系一致性域自适应（CrCDA），用于语义分割。该方法通过学习并迁移原型化的区域级特征关系，在源域与目标域之间强制实现局部上下文关系的一致性。通过采用自适应熵最大最小对抗学习，无需额外计算即可对数百个局部上下文关系进行对齐，CrCDA在GTA5→Cityscapes和SYNTHIA→Cityscapes基准上实现了最先进性能，mIoU相比之前方法最高提升7.2%。

ABSTRACT

Recent advances in unsupervised domain adaptation for semantic segmentation have shown great potentials to relieve the demand of expensive per-pixel annotations. However, most existing works address the domain discrepancy by aligning the data distributions of two domains at a global image level whereas the local consistencies are largely neglected. This paper presents an innovative local contextual-relation consistent domain adaptation (CrCDA) technique that aims to achieve local-level consistencies during the global-level alignment. The idea is to take a closer look at region-wise feature representations and align them for local-level consistencies. Specifically, CrCDA learns and enforces the prototypical local contextual-relations explicitly in the feature space of a labelled source domain while transferring them to an unlabelled target domain via backpropagation-based adversarial learning. An adaptive entropy max-min adversarial learning scheme is designed to optimally align these hundreds of local contextual-relations across domain without requiring discriminator or extra computation overhead. The proposed CrCDA has been evaluated extensively over two challenging domain adaptive segmentation tasks (e.g., GTA5 to Cityscapes and SYNTHIA to Cityscapes), and experiments demonstrate its superior segmentation performance as compared with state-of-the-art methods.

研究动机与目标

• 解决现有无监督域自适应方法仅关注全局分布对齐、忽视局部上下文一致性的局限性。
• 通过建模并从有标注的源域中迁移局部区域级语义关系，提升真实目标域中的分割精度。
• 克服使用多个判别器或单一全局判别器进行局部关系对齐时效率低下且存在偏差的问题。
• 通过显式强制共现视觉模式之间的兼容性与非兼容性关系，实现跨域的一致性特征学习。
• 证明局部上下文关系对齐与现有全局尺度对齐技术在域自适应中具有互补性。

提出的方法

• 使用DBSCAN对像素级真实标签图中的区域进行聚类，在源域中构建局部上下文关系伪标注。
• 训练分类器C，以显式学习并建模源域特征空间中的原型化局部上下文关系。
• 通过基于反向传播的对抗学习，将这些学习到的局部关系迁移至无标注的目标域。
• 设计一种自适应熵最大最小（AEMM）对抗学习方案，无需额外判别器或计算开销，即可最优对齐跨域的数百个局部上下文关系。
• 将AEMM损失与标准分割损失和对抗损失相结合，联合优化特征表示、局部一致性与全局对齐。
• 采用多尺度对抗自适应，在像素级与局部区域级对齐特征，提升模型鲁棒性与一致性。

实验结果

研究问题

• RQ1 显式建模局部上下文关系是否能提升语义分割中的域自适应性能？
• RQ2 强制实施局部语义兼容性与非兼容性关系，是否能带来优于仅全局分布对齐的特征对齐效果？
• RQ3 单一自适应熵最大最小对抗机制能否在不增加判别器或计算成本的前提下，有效对齐多个局部上下文关系？
• RQ4 局部上下文关系一致性如何与现有全局尺度对齐方法形成互补？
• RQ5 CrCDA在GTA5→Cityscapes和SYNTHIA→Cityscapes等挑战性基准上，能将分割精度提升到何种程度？

主要发现

• 在使用ResNet-101的GTA5→Cityscapes基准上，CrCDA实现了48.6%的平均交并比（mIoU），相比之前最先进方法（AdvEnt）提升7.2%。
• 消融实验表明，结合像素级、局部尺度与全局尺度自适应可获得最佳性能，其中CrCDA + 全局对齐达到46.1% mIoU。
• 定性结果表明，CrCDA能有效对齐低层特征（如物体边界）与高层特征，而AdvEnt则无法保持低层细节。
• t-SNE可视化结果表明，CrCDA生成的靶域特征分布更具判别性且更接近源域分布，表明其在局部与全局一致性方面均有提升。
• 互补性研究显示，CrCDA可增强现有全局对齐方法，CrCDA∗ + GlobalAlign达到46.1% mIoU，较仅使用GlobalAlign提升4.8%。
• 该方法在不同网络架构与设置下均表现出一致的性能提升，验证了其鲁棒性与泛化能力。