[论文解读] Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

Haoran Wang, Tong Shen+3 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用 6

一句话总结

本文提出FADA，一种用于跨域语义分割的细粒度对抗学习框架，通过使用类别感知判别器和领域编码，增强了类别级别的特征对齐。通过将二元领域标签推广为多类别监督，FADA在GTA5→Cityscapes、SYNTHIA→Cityscapes和Cityscapes→Cross-City任务上达到最先进性能，在使用ResNet-101和DeeperLabV2时，GTA5→Cityscapes的mIoU达到50.1%。

ABSTRACT

Despite great progress in supervised semantic segmentation,a large performance drop is usually observed when deploying the model in the wild. Domain adaptation methods tackle the issue by aligning the source domain and the target domain. However, most existing methods attempt to perform the alignment from a holistic view, ignoring the underlying class-level data structure in the target domain. To fully exploit the supervision in the source domain, we propose a fine-grained adversarial learning strategy for class-level feature alignment while preserving the internal structure of semantics across domains. We adopt a fine-grained domain discriminator that not only plays as a domain distinguisher, but also differentiates domains at class level. The traditional binary domain labels are also generalized to domain encodings as the supervision signal to guide the fine-grained feature alignment. An analysis with Class Center Distance (CCD) validates that our fine-grained adversarial strategy achieves better class-level alignment compared to other state-of-the-art methods. Our method is easy to implement and its effectiveness is evaluated on three classical domain adaptation tasks, i.e., GTA5 to Cityscapes, SYNTHIA to Cityscapes and Cityscapes to Cross-City. Large performance gains show that our method outperforms other global feature alignment based and class-wise alignment based counterparts. The code is publicly available at https://github.com/JDAI-CV/FADA.

研究动机与目标

• 通过改进源域与目标域之间的特征对齐，解决语义分割中的领域偏移问题。
• 克服全局特征对齐方法忽略目标域中类别级别语义结构的局限性。
• 通过在对抗训练过程中引入类别级别信息，实现更精确的对齐。
• 提出一种新型监督信号——领域编码，将二元领域标签推广为包含类别感知信息的形式。
• 在对齐域间同类特征的同时，保持类别间的分离性，以减少类别错配错误。

提出的方法

• 设计一个细粒度领域判别器，建模$P(d,c|f)$，其中$d$为领域，$c$为类别，$f$为特征，实现类别级别的区分。
• 将二元领域标签推广为源自源域和目标域模型预测的“领域编码”，用于监督细粒度判别器。
• 使用0.9的阈值进行置信度裁剪，以正则化软标签并防止对噪声预测的过拟合。
• 集成自蒸馏和多尺度测试作为辅助组件，进一步提升性能。
• 制定对抗损失，以鼓励领域不变特征，同时保留类别特定结构。
• 提出一种新的评估指标——类别中心距离（CCD），用于定量衡量类内紧凑性和类间分离性。

实验结果

研究问题

• RQ1 类别感知的对抗训练是否能超越全局分布对齐，在跨域语义分割中实现性能提升？
• RQ2 将类别级别信息引入判别器对特征对齐质量和分割精度有何影响？
• RQ3 在缺乏真实目标标签的情况下，使用软标签与硬标签构建领域编码的影响是什么？
• RQ4 在使用噪声软标签进行监督时，置信度裁剪在多大程度上提升了模型鲁棒性？
• RQ5 所提方法在对齐域间同类特征的同时，如何保持类别间分离性？

主要发现

• FADA在使用DeeplabV2与ResNet-101的GTA5→Cityscapes基准上达到50.1%的mIoU，优于先前最先进方法。
• 该方法将平均类别中心距离（CCD）降低至1.1，表明其类内紧凑性和类间分离性优于AdaptSegNet和CLAN。
• 仅使用细粒度对抗训练，FADA在GTA5→Cityscapes上相比全局对齐基线方法，mIoU提升10.1%。
• 使用置信度裁剪（阈值0.9）的软标签相比硬标签表现更优，GTA5→Cityscapes的mIoU达到46.9%，而硬标签为45.7%。
• 消融实验表明，自蒸馏和多尺度测试分别进一步将性能提升2.3%和0.7%。
• 定性结果表明，FADA显著减少了分割预测中的误分类和领域特异性伪影。