[论文解读] Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation

Zhedong Zheng, Yi Yang|arXiv (Cornell University)|Mar 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 29

一句话总结

本文提出了一种新颖的不确定性估计方法，用于校正领域自适应语义分割中的噪声伪标签。通过利用双流分类器的方差来建模预测不确定性，并将其作为正则化项引入损失函数，该方法动态调整置信度阈值，降低噪声影响，在GTA5→Cityscapes、SYNTHIA→Cityscapes和Cityscapes→Oxford RobotCar基准上实现了最先进性能。

ABSTRACT

This paper focuses on the unsupervised domain adaptation of transferring the knowledge from the source domain to the target domain in the context of semantic segmentation. Existing approaches usually regard the pseudo label as the ground truth to fully exploit the unlabeled target-domain data. Yet the pseudo labels of the target-domain data are usually predicted by the model trained on the source domain. Thus, the generated labels inevitably contain the incorrect prediction due to the discrepancy between the training domain and the test domain, which could be transferred to the final adapted model and largely compromises the training process. To overcome the problem, this paper proposes to explicitly estimate the prediction uncertainty during training to rectify the pseudo label learning for unsupervised semantic segmentation adaptation. Given the input image, the model outputs the semantic segmentation prediction as well as the uncertainty of the prediction. Specifically, we model the uncertainty via the prediction variance and involve the uncertainty into the optimization objective. To verify the effectiveness of the proposed method, we evaluate the proposed method on two prevalent synthetic-to-real semantic segmentation benchmarks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, as well as one cross-city benchmark, i.e., Cityscapes -> Oxford RobotCar. We demonstrate through extensive experiments that the proposed approach (1) dynamically sets different confidence thresholds according to the prediction variance, (2) rectifies the learning from noisy pseudo labels, and (3) achieves significant improvements over the conventional pseudo label learning and yields competitive performance on all three benchmarks.

研究动机与目标

• 解决语义分割无监督领域自适应中噪声伪标签的问题。
• 通过在训练过程中估计预测不确定性，提升模型泛化能力。
• 减轻错误伪标签对模型优化的负面影响。
• 开发一种基于不确定性自适应设置置信度阈值的方法，而非使用固定阈值。
• 在不增加额外参数的情况下，提升领域自适应基准上的性能。

提出的方法

• 模型使用双流分类器（主分类器与辅助分类器）来估计预测方差，作为不确定性的代理指标。
• 通过主分类器与辅助分类器输出之间的KL散度计算预测方差。
• 将不确定性作为方差正则化项融入优化目标。
• 基于预测方差应用动态置信度阈值，过滤掉低置信度、高不确定性的预测结果。
• 通过单次前向传播的方差信息避免多次前向传播。
• 推理加权结合两个分类器的预测结果，使用可学习权重以提升最终输出质量。

实验结果

研究问题

• RQ1 预测方差是否能有效区分高置信度下的正确与错误伪标签？
• RQ2 基于不确定性的阈值设置与固定阈值相比，在处理噪声伪标签时表现如何？
• RQ3 不确定性估计是否能在多种领域偏移场景下提升领域自适应性能？
• RQ4 所提出的不确定性估计方法与蒙特卡洛丢弃（Monte Carlo Dropout）相比，在捕捉预测不确定性方面表现如何？
• RQ5 不确定性正则化是否能在不引入额外参数的情况下增强模型鲁棒性？

主要发现

• 所提方法在正确与错误高置信度预测之间实现了0.1357的不确定性差距，优于使用0.9 dropout率的MC-Dropout方法。
• 正确分配的高置信度标签的平均方差（0.9901）显著高于错误分配标签的平均方差（0.9332），证实方差是可靠的不确定性指标。
• 与仅使用主分类器相比（mIoU为49.3%），通过结合主分类器与辅助分类器的预测结果，mIoU提升了约1.0%。
• 模型对不同距离函数具有鲁棒性，其中KL散度的性能略优于MSE或互换预测。
• 不确定性图能直观突出模糊区域（如物体边界），这些区域集中了错误预测，证实了该方法检测不确定性的能力。
• 该方法在三个基准上均表现出色：GTA5→Cityscapes、SYNTHIA→Cityscapes和Cityscapes→Oxford RobotCar，且未引入额外参数。