[论文解读] Cross-Region Domain Adaptation for Class-level Alignment

Zhijie Wang, Xing Liu+2 more|arXiv (Cornell University)|Sep 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 4

一句话总结

该论文提出了一种名为跨区域自适应（Cross-Region Adaptation, CRA）的新颖无监督域自适应方法，用于语义分割，通过在目标域内对抗性对齐特征分布来减少类别级别的错位。通过使用置信度图将目标图像划分为可信区域和不可信区域，并在这些区域之间应用对抗性训练，CRA 可与任意现有跨域自适应（CDA）方法结合使用，在 GTA5→Cityscapes、SYNTHIA→Cityscapes 和 Synscapes→Cityscapes 基准上实现最先进性能。

ABSTRACT

Semantic segmentation requires a lot of training data, which necessitates costly annotation. There have been many studies on unsupervised domain adaptation (UDA) from one domain to another, e.g., from computer graphics to real images. However, there is still a gap in accuracy between UDA and supervised training on native domain data. It is arguably attributable to class-level misalignment between the source and target domain data. To cope with this, we propose a method that applies adversarial training to align two feature distributions in the target domain. It uses a self-training framework to split the image into two regions (i.e., trusted and untrusted), which form two distributions to align in the feature space. We term this approach cross-region adaptation (CRA) to distinguish from the previous methods of aligning different domain distributions, which we call cross-domain adaptation (CDA). CRA can be applied after any CDA method. Experimental results show that this always improves the accuracy of the combined CDA method, having updated the state-of-the-art.

研究动机与目标

• 解决无监督域自适应语义分割中源域（合成）与目标域（真实）特征分布之间的类别级别错位问题。
• 通过在类别级别减少域偏移，提升现有跨域自适应（CDA）方法的性能。
• 开发一种在目标域内运行的方法，利用自训练来定义用于特征对齐的可靠与不可靠区域。
• 在不修改基础 CDA 框架的前提下，实现在多个基准上的稳定性能提升。
• 通过官方 Cityscapes 测试集评估验证方法的有效性，确保公平比较。

提出的方法

• 该方法使用自训练框架，从教师模型的预测结果生成置信度图，将每个像素分类为可信（熵低）或不可信（熵高）。
• 将目标图像划分为两个区域：可信区域（熵低）和不可信区域（熵高），在特征空间中形成两种不同的特征分布。
• 在可信区域与不可信区域的特征表示之间应用对抗性训练以实现对齐，从而最小化目标域内的域偏移。
• 这种跨区域自适应（CRA）在任意现有 CDA 方法之后应用，因此与多种先前方法兼容并能增强其性能。
• 置信度图用于指导对抗对齐区域的选择，确保仅使用高置信度预测来优化模型。
• 该框架端到端训练，学生模型通过伪标签化的不可信区域进行更新，并在可信与不可信特征之间施加对抗损失。

实验结果

研究问题

• RQ1 在目标域内进行对抗性对齐是否能减少阻碍跨域自适应性能的类别级别错位？
• RQ2 将目标图像划分为可信与不可信区域，是否相比标准跨域对齐能提升特征分布对齐效果？
• RQ3 CRA 是否可普遍应用于增强任意现有 CDA 方法，而无需架构修改？
• RQ4 CRA 是否在减少域偏移方面优于熵最小化和仅使用伪标签的训练方法？
• RQ5 在官方 Cityscapes 测试集上评估时，CRA 的性能增益是否依然成立，避免验证集泄露？

主要发现

• CRA 在 GTA5→Cityscapes 基准上持续提升了所有评估的 CDA 基线方法性能，mIoU 提升范围为 +1.0 至 +2.9。
• 与 ProDA 结合时，CRA 在 GTA5→Cityscapes 上达到 58.6% mIoU，超过此前最先进水平 57.5%，创下新 SOTA。
• 在 Synscapes→Cityscapes 基准上，ProDA+CRA 达到 60.2% mIoU，较先前 SOTA 提升 0.8 个百分点。
• 在官方 Cityscapes 测试集上，FADA+CRA 达到 53.8% mIoU，优于 FADA 单独使用（52.4%），证明其在无验证集泄露情况下的鲁棒性。
• IAST+CRA 在 Cityscapes 测试集上达到 55.6% mIoU，超过 IAST 单独使用（54.4%），确认其在多种方法中的一致增益。
• 消融实验表明，CRA（50.4 mIoU）优于仅使用伪标签训练（47.5 mIoU）和熵最小化（48.4 mIoU），验证了其在基于区域对齐中的优越性。