[论文解读] MetaCorrection: Domain-aware Meta Loss Correction for Unsupervised Domain Adaptation in Semantic Segmentation

Xiaoqing Guo, Chen Yang+2 more|arXiv (Cornell University)|Mar 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用 8

一句话总结

本文提出 MetaCorrection，一种领域感知的元学习框架，通过在领域不变的源数据上进行元优化，学习噪声转移矩阵（NTM），以校正无监督域自适应（UDA）语义分割中的噪声伪标签。该方法通过应用分层的 NTM 实现更优的泛化能力和深度适应，在三个基准测试中达到最先进性能，mIoU 相比先前的自训练方法最高提升 2.9%。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer the knowledge from the labeled source domain to the unlabeled target domain. Existing self-training based UDA approaches assign pseudo labels for target data and treat them as ground truth labels to fully leverage unlabeled target data for model adaptation. However, the generated pseudo labels from the model optimized on the source domain inevitably contain noise due to the domain gap. To tackle this issue, we advance a MetaCorrection framework, where a Domain-aware Meta-learning strategy is devised to benefit Loss Correction (DMLC) for UDA semantic segmentation. In particular, we model the noise distribution of pseudo labels in target domain by introducing a noise transition matrix (NTM) and construct meta data set with domain-invariant source data to guide the estimation of NTM. Through the risk minimization on the meta data set, the optimized NTM thus can correct the noisy issues in pseudo labels and enhance the generalization ability of the model on the target data. Considering the capacity gap between shallow and deep features, we further employ the proposed DMLC strategy to provide matched and compatible supervision signals for different level features, thereby ensuring deep adaptation. Extensive experimental results highlight the effectiveness of our method against existing state-of-the-art methods on three benchmarks.

研究动机与目标

• 解决基于自训练的无监督域自适应（UDA）语义分割中噪声伪标签的挑战。
• 克服手动阈值设定和基于置信度过滤方法所导致的信息丢失问题。
• 通过学习数据驱动的噪声转移矩阵（NTM）来校正监督信号，提升模型泛化能力。
• 通过可学习的 NTM 提供匹配的、分层的监督信号，确保深度适应。
• 通过元学习策略实现对多种噪声类型和领域偏移的鲁棒适应。

提出的方法

• 提出一种领域感知的元学习策略，利用领域不变的源数据作为元数据集，估计目标伪标签的噪声转移矩阵（NTM）。
• 使用可学习的 NTM 建模目标伪标签中的噪声分布，以捕捉类别间误分类的概率。
• 在元数据集上通过风险最小化优化 NTM，使模型能够学习目标领域中干净标签的分布。
• 通过交替优化 UDA 分割模型与 NTM，联合提升伪标签校正与特征学习效果。
• 通过引入分层的 NTM 将框架扩展至多个网络层，确保特征层次间监督的一致性。
• 使用领域分类器自适应选择具有高领域不变性的源样本，提升元优化的稳定性。

实验结果

研究问题

• RQ1 如何在不依赖手动阈值的前提下，有效校正基于自训练的 UDA 语义分割中的噪声伪标签？
• RQ2 基于数据驱动和元学习的噪声转移矩阵是否能提升在领域偏移下的模型泛化能力？
• RQ3 所提出的领域感知元学习策略在多大程度上提升了对目标伪标签中噪声分布的估计？
• RQ4 分层的 NTM 在多大程度上改善了 UDA 中深层特征的适应能力？
• RQ5 MetaCorrection 框架对伪标签中不同类型噪声的鲁棒性如何？

主要发现

• MetaCorrection 在三个标准 UDA 基准测试中达到最先进性能，相比先前的自训练方法，mIoU 最高提升 2.9%。
• 当应用于噪声伪标签时，该方法将 AdaptSegNet 的 mIoU 从 42.4% 提升至 47.3%，展现出对噪声的强大鲁棒性。
• t-SNE 可视化显示，MetaCorrection 的特征表示最接近真实模型（在标注的目标数据上微调的模型），表明其具备有效的领域对齐能力。
• 学习到的 NTM 可视化结果揭示了不同层间存在显著不同的噪声转移模式，证实浅层与深层特征具有不同的噪声分布。
• 该框架显著提升了对模糊和小样本类别（如“交通标志”、“骑手”、“自行车”）的分割性能，这些类别易受噪声标签影响。
• 消融实验证实，领域感知的元学习策略对于准确估计 NTM 和实现卓越性能至关重要。