[论文解读] AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation

Viraj Prabhu, Shivam Khare+2 more|arXiv (Cornell University)|Jul 21, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

AUGCO 是一种用于语义分割的无源域自适应方法，通过在多种增强（空间和色彩）下利用像素级预测一致性及类别置信度，选择可靠的伪标签，从而提升模型鲁棒性。该方法仅通过批量归一化参数更新和每张图像一次前向传播，在GTA5→Cityscapes（+3.9 mIoU）和Cityscapes→Dark Zurich（+5.8 mIoU）基准上实现了最先进性能。

ABSTRACT

Most modern approaches for domain adaptive semantic segmentation rely on continued access to source data during adaptation, which may be infeasible due to computational or privacy constraints. We focus on source-free domain adaptation for semantic segmentation, wherein a source model must adapt itself to a new target domain given only unlabeled target data. We propose Augmentation Consistency-guided Self-training (AUGCO), a source-free adaptation algorithm that uses the model's pixel-level predictive consistency across diverse, automatically generated views of each target image along with model confidence to identify reliable pixel predictions, and selectively self-trains on those. AUGCO achieves state-of-the-art results for source-free adaptation on 3 standard benchmarks for semantic segmentation, all within a simple to implement and fast to converge method.

研究动机与目标

• 解决在自适应过程中无标签源数据可用时，语义分割中的无源域自适应挑战。
• 通过识别可靠像素预测而非对所有模型输出进行训练，克服自训练中的误差累积问题。
• 开发一种简单高效的无灾难性遗忘方法，在域偏移下保持性能。
• 结合跨多样化增强的一致性与类别置信度阈值，提升伪标签的可靠性。
• 实现计算开销极小、无额外参数的快速单周期适应。

提出的方法

• 使用随机裁剪、缩放和颜色抖动生成每张目标图像的两个多样化视图，以改变尺度、上下文和外观。
• 在两个视图上计算对齐的模型预测，并将预测结果一致的像素识别为自训练的‘可靠’像素。
• 通过每类选择置信度最高的K百分位像素，补充可靠性判断。
• 仅对可靠的伪标签进行选择性自训练，利用基于一致性的掩码过滤掉不可靠预测。
• 通过仅更新批量归一化参数（遵循TENT）来约束优化过程，防止任务漂移并保持原始模型容量。
• 每张图像仅进行一次前向传播，使方法计算高效且收敛迅速。

实验结果

研究问题

• RQ1 在无源域自适应中，跨多样化增强的预测一致性是否可作为正确像素级预测的可靠指标？
• RQ2 将增强一致性与类别置信度结合使用，相较于单独使用任一方法，能否显著提升自训练性能？
• RQ3 基于一致性和置信度的选择性自训练策略是否能有效防止误差累积，优于无约束自训练？
• RQ4 该方法在不同域偏移场景（如GTA5→Cityscapes、Cityscapes→Dark Zurich）下的泛化能力如何？
• RQ5 一种轻量化、单周期适应方法是否能在无源数据或额外参数的情况下实现SOTA性能？

主要发现

• AUGCO 在GTA5→Cityscapes上实现+3.9 mIoU提升，在Cityscapes→Dark Zurich上实现+5.8 mIoU提升，创下新SOTA性能。
• 当标记为可靠时，可靠性度量正确识别了86.2%的伪标签，而不可靠样本仅正确识别19.1%。
• 同时使用空间和像素级增强进行一致性测量时mIoU最高（47.1），表明二者具有互补作用。
• 性能在5个epoch后达到峰值45.48 mIoU并保持稳定，表明具有强收敛性和训练稳定性。
• 方法在目标数据单次遍历内即达最优性能，凸显其计算效率。
• 类别特定可靠性精确率与最终mIoU之间存在强皮尔逊相关性（0.88），表明可靠性是适应成功的重要预测指标。