[论文解读] Iterative Loop Method Combining Active and Semi-Supervised Learning for Domain Adaptive Semantic Segmentation

Licong Guan, Yuan Xue|arXiv (Cornell University)|Jan 31, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 ILM-ASSL，一种结合自训练与主动学习的迭代循环方法，用于领域自适应语义分割。首先通过弱监督学习利用未标注的目标域数据提升模型准确率并减少噪声伪标签，随后利用预测不确定性实施主动学习，选择并修正关键样本，实现最低标注成本下的最先进性能——在 GTAV→Cityscapes 和 SYNTHIA→Cityscapes 上分别提升 mIoU 4.9% 和 5.2%。

ABSTRACT

Semantic segmentation is an important technique for environment perception in intelligent transportation systems. With the rapid development of convolutional neural networks (CNNs), road scene analysis can usually achieve satisfactory results in the source domain. However, guaranteeing good generalization to different target domain scenarios remains a significant challenge. Recently, semi-supervised learning and active learning have been proposed to alleviate this problem. Semisupervised learning can improve model accuracy with massive unlabeled data, but some pseudo labels containing noise would be generated with limited or imbalanced training data. And there will be suboptimal models if human guidance is absent. Active learning can select more effective data to intervene, while the model accuracy can not be improved because the massive unlabeled data are not used. And the probability of querying sub-optimal samples will increase when the domain difference is too large, increasing annotation cost. This paper proposes an iterative loop method combining active and semisupervised learning for domain adaptive semantic segmentation. The method first uses semi-supervised to learn massive unlabeled data to improve model accuracy and provide more accurate selection models for active learning. Secondly, combined with the predictive uncertainty sample selection strategy of active learning, manual intervention is used to correct the pseudo-labels. Finally, flexible iterative loops achieve the best performance with minimal labeling cost. Extensive experiments show that our method establishes state-of-the-art performance on tasks of GTAV to Cityscapes, SYNTHIA to Cityscapes, improving by 4.9% mIoU and 5.2% mIoU, compared to the previous best method, respectively.

研究动机与目标

• 解决在存在领域偏移的情况下，将模型从源域迁移到目标域时语义分割泛化能力差的挑战。
• 在保持高模型性能的同时，降低真实世界目标域中人工标注数据的高昂标注成本。
• 克服独立使用弱监督学习（噪声伪标签）和主动学习（未充分利用未标注数据）的局限性。
• 设计一种实用的图像级样本选择策略，兼容现有标注工具（如 Labelme），以单张图像作为最小选择单元。
• 在最小人工干预与最小标注预算下，实现领域自适应语义分割的最先进性能。

提出的方法

• 应用弱监督学习（SSL）以利用大规模未标注目标域数据，提升模型准确率并生成更可靠的伪标签。
• 将基于预测不确定性的样本选择策略融入主动学习，识别并优先选择最具信息量的图像进行人工标注。
• 利用人工标注的修正结果对高不确定性样本的伪标签进行优化，并重新训练模型，从而降低噪声并提升泛化能力。
• 在弱监督学习与主动学习之间实施迭代循环，交替进行未标注数据的自训练与高不确定性样本的人工介入优化。
• 设计一种实用的图像级选择机制，兼容标准标注工具（如 Labelme），避免在实际工作流中不切实际的像素级选择。
• 采用 DeepLab-V3+ 模型，以 ResNet-101 为骨干网络，并引入用于未标注数据的损失函数（ℒu）与一致性正则化损失（ℒc），以稳定训练过程。

实验结果

研究问题

• RQ1 结合弱监督学习与主动学习是否能在领域自适应语义分割中降低标注成本并提升性能？
• RQ2 利用人工修正的高不确定性样本伪标签进行迭代优化，对模型在领域偏移下的泛化能力有何影响？
• RQ3 基于预测不确定性的实用图像级选择策略，在真实标注工作流中，其性能在多大程度上优于像素级选择？
• RQ4 所提方法是否在 GTAV→Cityscapes 与 SYNTHIA→Cityscapes 等标准基准上，以最小标注预算实现最先进性能？
• RQ5 在开放集与无源域自适应等挑战性设置下，该方法的鲁棒性如何？

主要发现

• 在 GTAV→Cityscapes 基准上，ILM-ASSL 达到 78.1% 的 mIoU，相比之前最先进方法提升 4.9%。
• 在 SYNTHIA→Cityscapes 基准上，该方法实现 81.1% 的 mIoU，较先前最佳方法提升 5.2%。
• 消融实验证实，弱监督学习、一致性正则化与主动学习各组件均具有显著贡献，完整方法相比基线提升 10.38%。
• t-SNE 可视化显示，与 RIPU 等基线方法相比，ILM-ASSL 学习到更具判别性且更易分离的特征表示。
• 该方法在无源域自适应设置下泛化能力优异，在具有挑战性的基准上优于现有最先进方法（如 URMA、LD、SFDA、RIPU）。
• 即使仅标注目标域数据的 2.2%，ILM-ASSL 仍可达到 76.11% 的 mIoU，展现出极高的标注效率。