[论文解读] Adversarial-Learned Loss for Domain Adaptation

Minghao Chen, Shuai Zhao+2 more|arXiv (Cornell University)|Jan 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用 7

一句话总结

该论文提出了一种用于域自适应的对抗性学习损失（Adversarial-Learned Loss for Domain Adaptation, ALDA），这是一种新颖的方法，通过使用对抗性学习的混淆矩阵来校正目标域样本的噪声伪标签，将域对抗性学习与自训练相结合。ALDA 改进了特征对齐与判别能力，在四个标准无监督域自适应基准上实现了最先进性能。

ABSTRACT

Recently, remarkable progress has been made in learning transferable representation across domains. Previous works in domain adaptation are majorly based on two techniques: domain-adversarial learning and self-training. However, domain-adversarial learning only aligns feature distributions between domains but does not consider whether the target features are discriminative. On the other hand, self-training utilizes the model predictions to enhance the discrimination of target features, but it is unable to explicitly align domain distributions. In order to combine the strengths of these two methods, we propose a novel method called Adversarial-Learned Loss for Domain Adaptation (ALDA). We first analyze the pseudo-label method, a typical self-training method. Nevertheless, there is a gap between pseudo-labels and the ground truth, which can cause incorrect training. Thus we introduce the confusion matrix, which is learned through an adversarial manner in ALDA, to reduce the gap and align the feature distributions. Finally, a new loss function is auto-constructed from the learned confusion matrix, which serves as the loss for unlabeled target samples. Our ALDA outperforms state-of-the-art approaches in four standard domain adaptation datasets. Our code is available at https://github.com/ZJULearning/ALDA.

研究动机与目标

• 解决域对抗性学习在无法确保目标特征判别性方面的局限性。
• 克服自训练方法在无监督域自适应中使用的伪标签存在的不稳定性和噪声问题。
• 通过混淆矩阵联合优化，弥合域对齐与特征判别之间的差距。
• 开发一种理论基础坚实的端到端可训练方法，同时提升目标域的域对齐与分类器泛化能力。

提出的方法

• 引入混淆矩阵以建模自训练中伪标签与真实标签之间的差异。
• 通过对抗性过程学习混淆矩阵，其中判别器利用校正后的标签区分源域与目标域。
• 使用学习到的混淆矩阵将噪声伪标签转换为校正后的目标标签以用于训练。
• 利用校正后的标签构建噪声校正损失函数，该损失函数与域判别器共同优化。
• 在目标损失中应用无界损失函数（unhinged loss），以增强对伪标签中均匀噪声的鲁棒性。
• 端到端联合训练特征编码器与分类器，采用联合目标：域对抗损失与校正后的目标分类损失。

实验结果

研究问题

• RQ1 在无监督域自适应的自训练过程中，对抗性学习的混淆矩阵是否能有效降低伪标签的噪声？
• RQ2 将域对抗性特征对齐与校正后的伪标签监督相结合，是否能带来优于单一方法的泛化性能？
• RQ3 损失函数的选择（如无界损失与交叉熵）如何影响校正后伪标签过程的鲁棒性与性能？
• RQ4 正则化项在稳定混淆矩阵对抗训练中的作用是什么？
• RQ5 所提出的方法是否能在无需目标域标注数据的情况下，在多样化域自适应基准上实现最先进性能？

主要发现

• ALDA 在四个标准无监督域自适应数据集（Office-31、VisDA-2017、Office-Home 和 DomainNet）上实现了最先进性能。
• 在 Office-31 数据集上，ALDA 在 A→W 设置下实现了 95.4% 的 top-1 准确率，显著优于先前的 SOTA 方法（如 DANN 和 Mean Teacher 带有置信度阈值）。
• 消融实验表明，若在判别器损失中移除正则化项，性能显著下降，证实其在稳定训练中的关键作用。
• 将校正后的目标损失替换为未经校正的伪标签（即标准自训练）会导致性能下降，证明了混淆矩阵校正的必要性。
• 在目标损失函数中使用无界损失而非交叉熵可获得更优性能，表明其对伪标签中均匀噪声具有更强鲁棒性。
• t-SNE 可视化结果表明，ALDA 生成了对齐良好且具有判别性的目标域特征，其分布与源域聚类高度一致，而 DANN 或仅自训练的方法则无法实现类似效果。