[论文解读] Exploiting Negative Learning for Implicit Pseudo Label Rectification in Source-Free Domain Adaptive Semantic Segmentation

Xin Luo, Wei Chen+4 more|arXiv (Cornell University)|Jun 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用 6

一句话总结

该论文提出PR-SFDA，一种用于语义分割的无源域自适应方法，通过置信度正则化和抗噪学习来校正噪声伪标签，且无需访问源模型内部结构。通过结合最大平方概率正则化与协同正负样本学习，PR-SFDA在GTA5→Cityscapes数据集上达到49.0 mIoU，性能达到当前最先进水平，且不依赖源模型规格或干净伪标签。

ABSTRACT

It is desirable to transfer the knowledge stored in a well-trained source model onto non-annotated target domain in the absence of source data. However, state-of-the-art methods for source free domain adaptation (SFDA) are subject to strict limits: 1) access to internal specifications of source models is a must; and 2) pseudo labels should be clean during self-training, making critical tasks relying on semantic segmentation unreliable. Aiming at these pitfalls, this study develops a domain adaptive solution to semantic segmentation with pseudo label rectification (namely extit{PR-SFDA}), which operates in two phases: 1) extit{Confidence-regularized unsupervised learning}: Maximum squares loss applies to regularize the target model to ensure the confidence in prediction; and 2) extit{Noise-aware pseudo label learning}: Negative learning enables tolerance to noisy pseudo labels in training, meanwhile positive learning achieves fast convergence. Extensive experiments have been performed on domain adaptive semantic segmentation benchmark, extit{GTA5 $ o$ Cityscapes}. Overall, extit{PR-SFDA} achieves a performance of 49.0 mIoU, which is very close to that of the state-of-the-art counterparts. Note that the latter demand accesses to the source model's internal specifications, whereas the extit{PR-SFDA} solution needs none as a sharp contrast.

研究动机与目标

• 解决现有无源域自适应（SFDA）方法依赖源模型内部信息或假设伪标签为干净的问题。
• 开发一种与模型无关的SFDA方法，即使在缺乏源数据和模型规格的情况下也能有效运行。
• 通过协同学习检测并校正噪声伪标签，提升目标域上的自训练性能。
• 通过置信度正则化和风格增强提升模型鲁棒性。
• 在极少先验知识条件下实现域无关语义分割的高性能。

提出的方法

• 应用最大平方预测概率（MSL）作为置信度正则化，以提升模型在目标域图像上的预测确定性。
• 通过联合优化正样本和负样本标签，引入抗噪伪标签学习机制，以容忍噪声伪标签。
• 对源数据使用风格增强（如颜色扰动）以增加域多样性并减少域偏移。
• 采用由超参数λnl控制的加权损失，结合正样本学习（促进快速收敛）与负样本学习（提升抗噪能力）。
• 通过最小熵（ENT）和MSL的不确定性正则化，指导未标注目标数据的优化过程。
• 分两个阶段运行：(1) 置信度正则化的无监督学习；(2) 带迭代自训练的抗噪伪标签学习。

实验结果

研究问题

• RQ1 无源域自适应方法是否能在不访问源模型内部信息的情况下实现语义分割的高性能？
• RQ2 在缺乏真实标注的情况下，如何有效检测并校正自训练过程中的伪标签噪声？
• RQ3 置信度正则化在提升模型对目标域图像鲁棒性方面发挥何种作用？
• RQ4 与朴素自训练相比，正负样本的协同学习如何提升泛化能力？
• RQ5 所提方法对超参数λnl的敏感性如何？

主要发现

• PR-SFDA在GTA5→Cityscapes基准上达到49.0 mIoU，性能与当前最先进方法相当，且无需源模型规格信息。
• 与未增强训练相比，对源数据使用风格增强可使mIoU提升6.3个百分点（从37.9提升至40.3 mIoU）。
• 通过MSL实现的置信度正则化使mIoU相比仅使用增强源数据训练的基线模型提升13.2%。
• 结合负样本学习的抗噪伪标签学习（NLPL）优于朴素自训练，证明了伪标签校正的有效性。
• 该方法对超参数λnl具有鲁棒性，不同设置下mIoU仅在48.5至49.0之间轻微波动，表明敏感度较低。
• 消融实验证实，置信度正则化与伪标签校正均为实现最优性能所必需。