[论文解读] Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation

Jinyu Yang, Weizhi An+4 more|ArXiv.org|Mar 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用 11

一句话总结

本文提出了一种用于语义分割领域自适应的标签驱动重建框架，通过执行从目标域到源域的图像翻译并直接从预测标签重建图像，减少了图像翻译偏差。该方法实现了最先进性能，在GTA5到Cityscapes数据集上相比基线方法mIoU提升1.3%，并在ResNet101和VGG16主干网络上均优于现有最先进方法。

ABSTRACT

Unsupervised domain adaptation enables to alleviate the need for pixel-wise annotation in the semantic segmentation. One of the most common strategies is to translate images from the source domain to the target domain and then align their marginal distributions in the feature space using adversarial learning. However, source-to-target translation enlarges the bias in translated images and introduces extra computations, owing to the dominant data size of the source domain. Furthermore, consistency of the joint distribution in source and target domains cannot be guaranteed through global feature alignment. Here, we present an innovative framework, designed to mitigate the image translation bias and align cross-domain features with the same category. This is achieved by 1) performing the target-to-source translation and 2) reconstructing both source and target images from their predicted labels. Extensive experiments on adapting from synthetic to real urban scene understanding demonstrate that our framework competes favorably against existing state-of-the-art methods.

研究动机与目标

• 解决从合成城市场景向真实城市场景迁移时语义分割中的领域偏移问题。
• 减少源域到目标域图像翻译方法固有的翻译偏差和计算成本。
• 通过从预测标签重建图像，强制实现跨域特征在相同语义类别下的对齐。
• 通过联合分布对齐提升预测在不同域之间的泛化能力和一致性。
• 在GTA5到Cityscapes和SYNTHIA到Cityscapes等标准基准上超越现有领域自适应方法。

提出的方法

• 执行目标域到源域的图像翻译，使目标域图像更接近源域图像，相比源域到目标域的翻译方法，减少翻译偏差并降低计算成本。
• 引入一个重建网络，直接从预测的语义标签生成图像，而非从特征表示生成。
• 使用标签空间重建损失，惩罚重建图像与原始图像之间的语义偏差，以强制实现全局语义一致性。
• 结合对抗性特征对齐与重建损失，对齐域之间的边缘分布和联合分布。
• 采用温度控制的软标签映射，近似离散的标签图以实现可微训练。
• 利用VGG感知损失和判别器特征匹配损失，保留重建图像中的高层语义和纹理保真度。

实验结果

研究问题

• RQ1 与源域到目标域的翻译相比，目标域到源域的翻译是否能减少图像翻译偏差并提高效率？
• RQ2 在标签空间中直接从预测标签重建图像，是否比在特征空间中重建能实现更好的跨域特征对齐？
• RQ3 标签驱动的图像重建是否能改善联合分布对齐并减少语义分割中的误检/漏检？
• RQ4 在合成到真实城市场景的基准上，该方法与现有最先进领域自适应技术相比表现如何？
• RQ5 在软标签映射中，温度超参数的最优配置是什么，以获得最佳性能？

主要发现

• 在GTA5-to-Cityscapes数据集上，使用ResNet101主干网络时，该方法达到49.5 mIoU，相比源域仅训练基线方法提升12.9%。
• 在VGG16主干网络上，该方法达到43.6 mIoU，相比源域仅训练基线方法提升25.7%，并优于CyCADA和BDL方法8.2%和2.3%。
• 仅使用目标域到源域翻译时，与源域到目标域翻译相比，ResNet101主干网络上mIoU提升0.6%，VGG16主干网络上提升1.0%。
• 加入标签空间重建后，ResNet101主干网络上mIoU提升1.3%，VGG16主干网络上提升1.1%，证明了其有效性。
• 在GTA5-to-Cityscapes数据集上，标签空间重建优于特征空间重建2.12%（43.6 vs. 41.48 mIoU），在SYNTHIA-to-Cityscapes数据集上提升0.97%（41.1 vs. 40.13 mIoU）。
• 最优温度超参数τ被确定为0.001，在所有实验中均取得最佳mIoU。