[论文解读] Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training

Yang Zou, Zhiding Yu+2 more|arXiv (Cornell University)|Oct 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 43被引用 50

一句话总结

本文提出一种基于迭代自训练的语义分割无监督领域自适应框架。引入带类别平衡的自训练（CBST）以及带空间先验的 CBST（CBST-SP），以解决类别不平衡和空间结构问题，在合成到现实以及跨城市域转移上取得了最先进的结果。

ABSTRACT

Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world `wild tasks' where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as `domain gap', and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of self-training, we also propose a novel class-balanced self-training framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.

研究动机与目标

• 激励在现实世界、存在域差异的设置下进行密集语义分割的无监督领域自适应。
• 开发一个自训练框架，将目标标签视为潜在伪标签，并与模型参数共同优化。
• 通过引入类别平衡自训练（CBST）来解决伪标签中的类别不平衡。
• 当源域/目标域共享布局时，利用空间先验提升伪标签质量。

提出的方法

• 将伪标签估计和网络训练框架为一个统一的损失最小化问题，在深度自训练循环中。
• 引入自 paced 学习机制，逐步选择最有信心的伪标签（ST）。
• 通过对类别级信心进行归一化来实现 CBST，平衡跨类别的伪标签生成。
• 推导出带空间先验的 CBST 变体 CBST-SP，通过将空间类别先验 qn(c) 融入伪标签选择。
• 提供一个实际算法，用于确定节奏参数 k（及类别权重 kc），以控制每轮伪标签的包含。
• 可选地将 CBST-SP 与多尺度测试（MST）结合，以获得进一步提升。）

实验结果

研究问题

• RQ1 在没有对抗训练的情况下，自训练是否能够在语义分割的无监督领域自适应中达到有竞争力/领先的表现？
• RQ2 相对于 vanilla 自训练，跨类平衡伪标签（CBST）是否改善了难以迁移的类别的转移？
• RQ3 当源/目标域共享相似场景布局时，空间先验是否有帮助（CBST-SP）？
• RQ4 ST、CBST、CBST-SP 在合成到现实（GTA5/SYNTHIA→Cityscapes）和跨城市（Cityscapes→NTHU）域转移上的表现如何？

主要发现

• CBST 与 CBST-SP 在主要的UDA设置中实现了最先进或具有竞争力的性能，包括合成到现实以及跨城市的转移。
• 在 GTA5→Cityscapes 使用 ResNet-38 时，CBST 产生 46.2% 的平均 IoU，且使用 MST 时，平均 IoU 达到 47.0%。
• CBST 通过解决每个类别的转移难度来改进相较于 vanilla ST，尤其是对最初难以转移的类别。
• 当源域与目标域共享空间布局时，CBST-SP 进一步提升适应性，在所报道的设定中超过基线方法。
• 在 SYNTHIA→Cityscapes，使用 ResNet-38 的 CBST 取得更出色的表现，较最佳先前方法显著超出（例如+1.7 mIoU）。