[论文解读] All about Structure: Adapting Structural Information across Domains for Boosting Semantic Segmentation

Wei‐Lun Chang, Hui‐Po Wang+2 more|arXiv (Cornell University)|Mar 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用 20

一句话总结

本文提出领域不变结构提取（DISE）框架，将图像表征解耦为领域不变的结构与领域特定的纹理成分，以提升语义分割的无监督领域自适应性能。通过仅对齐合成数据（GTA5）与真实世界数据（Cityscapes）之间的结构成分，并支持图像翻译与标签迁移，DISE在Cityscapes上实现了45.4 mIoU的性能，相比最先进方法最高提升4.3 mIoU。

ABSTRACT

In this paper we tackle the problem of unsupervised domain adaptation for the task of semantic segmentation, where we attempt to transfer the knowledge learned upon synthetic datasets with ground-truth labels to real-world images without any annotation. With the hypothesis that the structural content of images is the most informative and decisive factor to semantic segmentation and can be readily shared across domains, we propose a Domain Invariant Structure Extraction (DISE) framework to disentangle images into domain-invariant structure and domain-specific texture representations, which can further realize image-translation across domains and enable label transfer to improve segmentation performance. Extensive experiments verify the effectiveness of our proposed DISE model and demonstrate its superiority over several state-of-the-art approaches.

研究动机与目标

• 解决在将基于合成数据训练的模型迁移到真实世界图像时，语义分割中的领域偏移问题。
• 通过聚焦于解耦高层结构内容与低层纹理差异，提升无监督领域自适应性能。
• 通过在图像翻译过程中保持结构一致性，实现在源域（合成）到目标域（真实）之间的有效标签迁移。
• 开发一个统一框架，同时支持领域不变结构学习与跨领域图像翻译。

提出的方法

• DISE框架使用共享编码器学习结构，同时使用领域特定编码器学习纹理，实现解耦表征学习。
• 通过独立的编码器将输入图像分解为领域不变的结构码与领域特定的纹理码。
• 通过将一个领域的结构码与另一领域的纹理码结合，并使用共享解码器，实现图像翻译。
• 在源域标签上训练分割头，并利用翻译后的源域图像生成的伪标签进一步监督目标域。
• 该方法采用多种损失函数：分割损失、分割预测的对抗损失、重建损失，以及结构与纹理翻译的循环一致性损失。
• 通过在结构码上进行对抗训练实现领域不变结构对齐，而纹理则保持领域特定。

Figure 1: Comparison of the conventional domain adaptation for semantic segmentation and our proposed method. Instead of making the entire feature representation domain invariant, we align only the distributions of the structure component across domains.

实验结果

研究问题

• RQ1 高层结构内容能否在不同领域间实现不变性，以提升语义分割的泛化能力？
• RQ2 与联合特征对齐相比，解耦结构与纹理成分是否能带来更好的领域自适应性能？
• RQ3 基于结构-纹理解耦的图像到图像翻译，能否实现从合成图像到真实图像的有效标签迁移？
• RQ4 在分割精度方面，所提方法与最先进领域自适应方法相比表现如何？

主要发现

• 当从GTA5迁移到Cityscapes数据集时，DISE模型实现了45.4 mIoU的性能，显著优于39.8 mIoU的'仅源域'基线。
• 消融实验表明，仅通过解耦（无标签迁移）即可将性能提升至44.1 mIoU，验证了结构-纹理解耦的价值。
• 通过翻译图像实现的标签迁移，相比'无标签迁移的DISE'变体额外提升了1.3 mIoU，验证了其有效性。
• 定性结果表明，图像翻译保持了结构一致性，同时实现了跨领域的纹理迁移，支持了伪标签生成的可行性。
• 该方法比最先进方法Seg-map Adaptation高出2.8 mIoU，证实了其在领域自适应中的优越性。
• 该框架在单一架构内同时实现了领域不变结构学习与跨领域图像翻译，为语义分割中的领域偏移问题提供了一体化解决方案。

Figure 2: An overview of the proposed domain-invariant structure extraction (DISE) framework for semantic segmentation. The DISE framework is composed of a common encoder $E_{c}$ shared across domains, two domain-specific private encoders, $E_{p}^{s},E_{p}^{t}$ , a pixel-wise classifier $T$ , and a