[论文解读] CSCL: Critical Semantic-Consistent Learning for Unsupervised Domain Adaptation

Jiahua Dong, Yang Cong+3 more|arXiv (Cornell University)|Aug 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用 4

一句话总结

本论文提出CSCL，一种用于语义分割的新型无监督域自适应框架，旨在解决域间和类别间的分布偏移问题。该方法采用基于强化学习的关键特征迁移机制，优先传输可迁移特征并抑制不可迁移特征，同时结合置信度引导的伪标签生成器与对称软散度损失，实现类别间分布对齐，在多个基准测试中取得最先进性能。

ABSTRACT

Unsupervised domain adaptation without consuming annotation process for unlabeled target data attracts appealing interests in semantic segmentation. However, 1) existing methods neglect that not all semantic representations across domains are transferable, which cripples domain-wise transfer with untransferable knowledge; 2) they fail to narrow category-wise distribution shift due to category-agnostic feature alignment. To address above challenges, we develop a new Critical Semantic-Consistent Learning (CSCL) model, which mitigates the discrepancy of both domain-wise and category-wise distributions. Specifically, a critical transfer based adversarial framework is designed to highlight transferable domain-wise knowledge while neglecting untransferable knowledge. Transferability-critic guides transferability-quantizer to maximize positive transfer gain under reinforcement learning manner, although negative transfer of untransferable knowledge occurs. Meanwhile, with the help of confidence-guided pseudo labels generator of target samples, a symmetric soft divergence loss is presented to explore inter-class relationships and facilitate category-wise distribution alignment. Experiments on several datasets demonstrate the superiority of our model.

研究动机与目标

• 为解决无监督域自适应中因跨域不可迁移语义表征导致的负迁移问题。
• 缓解因目标域缺乏标注而导致的类别间分布偏移问题。
• 通过联合对齐边缘分布与条件分布，提升域不变表征学习能力。
• 开发一种选择性方法，仅传输高价值语义知识，同时舍弃无关或有害特征。

提出的方法

• 设计基于关键特征迁移的对抗性框架，其中可迁移性量化器识别高可迁移分数特征，可迁移性评判器评估迁移过程的质量。
• 在强化学习范式下联合训练可迁移性量化器与评判器，以在潜在负迁移存在的情况下最大化正向迁移收益。
• 置信度引导的伪标签生成器为目标样本生成软伪标签，以降低错误或模糊预测带来的噪声影响。
• 引入对称软散度损失，通过最小化类别间条件分布差距，对齐跨域的类别间关系。
• 通过对抗学习与对比学习组件，联合优化域间边缘分布对齐与类别间条件分布对齐。

实验结果

研究问题

• RQ1 关键特征迁移机制能否有效区分并优先选择可迁移语义特征，同时抑制不可迁移知识？
• RQ2 在不依赖目标域真实标签的前提下，如何减少类别间分布偏移？
• RQ3 引入置信度感知的软伪标签在多大程度上提升了特征对齐效果与分割性能？
• RQ4 将强化学习与对抗训练相结合，是否能增强学习表征的鲁棒性与可迁移性？

主要发现

• CSCL在多个无监督域自适应基准测试中取得最先进性能，包括Cityscapes→NTHU、Rio、Tokyo和Taipei，性能相比先前方法最高提升11.9%。
• 在Cityscapes→NTHU任务中，CSCL在所有评估城市中均优于所有基线方法，包括LtA、MSL、SSF和CBST。
• 消融实验表明，关键特征迁移机制与对称软散度损失均对性能提升有显著贡献，后者尤其增强了类别间特征紧凑性。
• 置信度引导的伪标签生成器有效降低了噪声预测的影响，实现了更稳定、更精确的分布对齐。
• 在Taipei基准上，模型达到54.8%的平均IoU，超越此前最先进方法（SSF为51.4%，CBST为51.0%）。
• 对称软散度损失成功减少了类别间分布偏移，表现为特征空间中同类别特征在跨域间聚类更紧密。