[论文解读] Instance Adaptive Self-Training for Unsupervised Domain Adaptation

Ke Mei, Chuang Zhu+2 more|arXiv (Cornell University)|Aug 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用 19

一句话总结

本文提出实例自适应自训练（IAST），一种用于语义分割无监督域自适应的新颖自训练框架。它引入了实例自适应选择器，通过基于实例级别的置信度动态调整选择，以提升伪标签质量，并采用区域引导正则化来优化预测，实现了在GTA5到Cityscapes（52.2% mIoU）和SYNTHIA到Cityscapes（57.0% mIoU*）上的最先进性能，且在不同方法间具有高度可扩展性。

ABSTRACT

The divergence between labeled training data and unlabeled testing data is a significant challenge for recent deep learning models. Unsupervised domain adaptation (UDA) attempts to solve such a problem. Recent works show that self-training is a powerful approach to UDA. However, existing methods have difficulty in balancing scalability and performance. In this paper, we propose an instance adaptive self-training framework for UDA on the task of semantic segmentation. To effectively improve the quality of pseudo-labels, we develop a novel pseudo-label generation strategy with an instance adaptive selector. Besides, we propose the region-guided regularization to smooth the pseudo-label region and sharpen the non-pseudo-label region. Our method is so concise and efficient that it is easy to be generalized to other unsupervised domain adaptation methods. Experiments on 'GTA5 to Cityscapes' and 'SYNTHIA to Cityscapes' demonstrate the superior performance of our approach compared with the state-of-the-art methods.

研究动机与目标

• 为通过提升无监督域自适应（UDA）中伪标签质量来应对语义分割中的域偏移挑战。
• 克服现有自训练方法因固定置信度阈值而导致冗余、低质量伪标签的局限性。
• 开发一种可扩展、模块化的框架，无需模型特定的架构修改即可提升性能。
• 通过通用训练策略，有效适应无监督和半监督学习设置。

提出的方法

• 提出一种实例自适应选择器，根据每个实例的置信度动态调整伪标签生成，提升多样性并减少冗余。
• 采用区域引导正则化，对伪标签区域内的预测进行平滑处理，同时增强区域外的预测锐度，提升空间一致性。
• 采用两阶段训练流程：第一阶段使用非自训练方法（如对抗训练）进行预热，第二阶段采用所提组件进行自训练。
• 将框架应用于现有UDA方法（如AdaptSeg和AdvEnt），验证其即插即用的兼容性与性能增益。
• 通过跨图像按类别排名的置信度策略引导自适应选择器，避免过度依赖高置信度像素。
• 通过避免复杂模块耦合，保持方法的简洁性与高效性，使其可广泛应用于其他UDA及半监督学习任务。

实验结果

研究问题

• RQ1 实例自适应伪标签生成策略是否能提升自训练中UDA的伪标签质量与多样性？
• RQ2 在目标域无真实标签的情况下，区域引导正则化是否能增强空间一致性与预测准确性？
• RQ3 所提出的IAST框架是否可有效应用于非自训练UDA方法，且无需架构修改？
• RQ4 在GTA5-to-Cityscapes与SYNTHIA-to-Cityscapes等具有挑战性的域偏移基准上，IAST相较于最先进方法表现如何？
• RQ5 IAST能否扩展至目标域标注数据有限的半监督学习场景？

主要发现

• 在GTA5-to-Cityscapes基准上，IAST达到52.2% mIoU，优于之前最先进方法BLF 1.4个百分点。
• 在更具挑战性的SYNTHIA-to-Cityscapes基准上，IAST达到57.0% mIoU*，显著超过次优方法3.2个百分点。
• 应用于非自训练UDA方法时，IAST使AdaptSeg [27] 在GTA5-to-Cityscapes上提升+7.8% mIoU，使AdvEnt [29] 提升+4.4% mIoU。
• 在Cityscapes上仅使用一半标注数据时，IAST达到69.8% mIoU，优于相同设置下的先前半监督方法。
• 该方法展现出强大泛化能力，在高域偏移与低域偏移基准上均表现优异，且不依赖特定架构。
• 消融研究证实，实例自适应选择器与区域引导正则化均对性能提升有显著贡献。