[论文解读] Regularizing Proxies with Multi-Adversarial Training for Unsupervised Domain-Adaptive Semantic Segmentation

Tong Shen, Dong Gong+3 more|arXiv (Cornell University)|Jul 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 17

一句话总结

该论文提出了一种多对抗训练方法，用于在语义分割的无监督域自适应中生成高质量、类别平衡的代理标签。通过利用两个判别器的对抗置信度，并应用置信度重聚焦和类别平衡重加权，该方法提升了代理标签的质量，尤其在小类别上表现更优，从而在无需目标域真实标注的情况下实现了更优的域自适应性能。

ABSTRACT

Training a semantic segmentation model requires a large amount of pixel-level annotation, hampering its application at scale. With computer graphics, we can generate almost unlimited training data with precise annotation. However,a deep model trained with synthetic data usually cannot directly generalize well to realistic images due to domain shift. It has been observed that highly confident labels for the unlabeled real images may be predicted relying on the labeled synthetic data. To tackle the unsupervised domain adaptation problem, we explore the possibilities to generate high-quality labels as proxy labels to supervise the training on target data. Specifically, we propose a novel proxy-based method using multi-adversarial training. We first train the model using synthetic data (source domain). Multiple discriminators are used to align the features be-tween the source and target domain (real images) at different levels. Then we focus on obtaining and selecting high-quality proxy labels by incorporating both the confidence of the class predictor and that from the adversarial discriminators. Our discriminators not only work as a regularizer to encourage feature alignment but also provide an alternative confidence measure for generating proxy labels. Relying on the generated high-quality proxies, our model can be trained in a "supervised manner" on the target do-main. On two major tasks, GTA5->Cityscapes and SYNTHIA->Cityscapes, our method achieves state-of-the-art results, outperforming the previous by a large margin.

研究动机与目标

• 为解决在语义分割的无监督域自适应中生成可靠代理标签的挑战，特别是针对小类别和域偏移类别。
• 通过引入多个判别器的对抗置信度，提升代理标签的质量。
• 通过基于预测置信度和对抗不确定性的动态重加权，平衡代理标签中的类别分布。
• 通过生成的代理标签在目标域数据上实现有效的自监督训练，减少域偏移。
• 在无法访问目标域标注的情况下，实现无监督域自适应的最先进性能。

提出的方法

• 该方法利用分割网络的预测得分图和两个判别器的对抗置信度生成代理标签。
• 对抗置信度通过两个判别器输出的最小-最大归一化平均值计算，为每个空间位置提供不确定性估计。
• 置信度重聚焦步骤从所有对抗置信度值中确定一个百分位数阈值 $ t_1 $，以过滤低置信度区域。
• 针对每个类别，仅从高对抗置信度区域收集预测置信度，并为每个类别计算第二个百分位数阈值 $ t_2^{(l)} $ 以重加权得分图。
• 通过将得分图除以 $ t_2^{(l)} $ 进行重加权，最终代理标签仅在重加权置信度和对抗置信度均超过阈值的区域通过 argmax 生成。
• 代理生成过程等价于主论文中的公式 (5)，确保了类别平衡且高置信的预测。

实验结果

研究问题

• RQ1 来自多个判别器的对抗置信度是否能提升无监督域自适应中语义分割代理标签的质量？
• RQ2 置信度重聚焦在多大程度上提升了代理标签的可靠性，特别是对小类别而言？
• RQ3 类别平衡重加权在多大程度上改善了代理标签在语义类别间的分布？
• RQ4 与基线代理生成策略相比，所提方法在域自适应性能上是否表现更优？
• RQ5 高质量的代理标签是否能实现无需真实标注的目标域有效自监督训练？

主要发现

• 所提方法生成的代理标签质量显著优于基线方法，尤其在小类别（如 'car'）上，这些类别在标准代理生成中常被错误分割。
• 在可视化结果中，带有对抗置信度的代理标签显示出更清晰、更准确的边界，尤其在域偏移严重且置信度低的区域。
• 采用多对抗训练和置信度重聚焦可减少代理标签中的噪声和不一致性预测，从而提升自监督学习的可靠性。
• 域自适应后，模型在目标域上实现了高质量的语义分割结果，与使用或不使用对抗置信度的定性对比表明了显著优势。
• 该方法在多个目标域和数据集上均表现出代理标签质量和下游分割性能的一致性提升。
• 消融实验证实，对抗置信度和重加权是实现在无监督域自适应中达到最先进性能的关键组件。