[论文解读] Context-Aware Domain Adaptation in Semantic Segmentation

Jinyu Yang, Weizhi An+3 more|arXiv (Cornell University)|Mar 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 4

一句话总结

本文提出了一种用于语义分割无监督域适应的新型交叉注意力机制，引入了两个跨域注意力模块——CD-SAM用于空间上下文，CD-CAM用于通道级语义依赖，以在源域（合成）与目标域（真实）之间适配上下文特征。该方法在GTA5到Cityscapes以及SYNTHIA到Cityscapes基准上取得了最先进性能，mIoU相比之前方法最高提升1.8%。

ABSTRACT

In this paper, we consider the problem of unsupervised domain adaptation in the semantic segmentation. There are two primary issues in this field, i.e., what and how to transfer domain knowledge across two domains. Existing methods mainly focus on adapting domain-invariant features (what to transfer) through adversarial learning (how to transfer). Context dependency is essential for semantic segmentation, however, its transferability is still not well understood. Furthermore, how to transfer contextual information across two domains remains unexplored. Motivated by this, we propose a cross-attention mechanism based on self-attention to capture context dependencies between two domains and adapt transferable context. To achieve this goal, we design two cross-domain attention modules to adapt context dependencies from both spatial and channel views. Specifically, the spatial attention module captures local feature dependencies between each position in the source and target image. The channel attention module models semantic dependencies between each pair of cross-domain channel maps. To adapt context dependencies, we further selectively aggregate the context information from two domains. The superiority of our method over existing state-of-the-art methods is empirically proved on "GTA5 to Cityscapes" and "SYNTHIA to Cityscapes".

研究动机与目标

• 为解决无监督域适应中语义分割缺乏对跨域上下文依赖关系显式建模的问题。
• 探究合成图像与真实图像域之间上下文信息（空间与语义）的可迁移性。
• 通过显式学习并对齐源域与目标域之间的共享上下文，提升域适应性能。
• 开发一种超越域不变特征学习的方法，通过融合来自两个域的结构化上下文。

提出的方法

• 提出一种具有两个双向模块的交叉注意力机制：CD-SAM用于空间上下文，CD-CAM用于通道级语义上下文。
• CD-SAM通过计算源图像中每个空间位置与目标图像中所有位置之间的注意力权重，实现在域之间的特征聚合。
• CD-CAM通过计算源特征与目标特征中对应通道图之间的注意力，建模跨域通道依赖关系。
• 该方法采用双分支网络结构，包含特征提取器（ResNet101或VGG16），随后是跨域注意力模块和分割头。
• 使用三个判别器来强制输出预测具有域不变性，从而增强特征与预测的一致性。
• 应用可学习的加权系数（λs, λt, ξs, ξt）以平衡跨域上下文的贡献，最优值确定为1。

实验结果

研究问题

• RQ1 显式建模跨域上下文依赖关系是否能提升语义分割中的无监督域适应性能？
• RQ2 空间与通道级上下文依赖关系在减少语义分割中域偏移方面分别起到什么作用？
• RQ3 在跨域上下文特征适配中，空间注意力与通道注意力的相对贡献如何？
• RQ4 该方法性能对控制跨域上下文聚合的超参数的敏感性如何？

主要发现

• 在GTA5-to-Cityscapes基准上，使用VGG16时mIoU达到44.9%，使用ResNet101时达到49.2%，优于之前最先进方法。
• 在更具挑战性的SYNTHIA-to-Cityscapes基准上，使用ResNet101时mIoU达到52.4%，相比基线分别提升0.6%（使用CD-CAM）和0.4%（使用CD-SAM）。
• 消融实验表明，CD-SAM与CD-CAM均显著贡献，联合使用时性能提升最大。
• 可视化结果表明，注意力图能正确对齐跨域特征，例如源域中的建筑物与目标域中的建筑物对齐，目标域中的植被与源域中的植被对齐。
• 敏感性分析显示，当λs = λt = ξs = ξt = 1时性能最优，极端值会降低特征质量。
• 该方法在不同主干网络和域偏移程度下均表现出一致的性能提升，证明了上下文感知适应的有效性。