[论文解读] Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation

Zhekai Du, Jingjing Li+3 more|arXiv (Cornell University)|Jun 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用 8

一句话总结

该论文提出了一种新型无监督域自适应方法——跨域梯度差异最小化（CGDM），通过最小化源域与目标域样本之间的梯度差异来减少域偏移，利用梯度信号作为分类准确率的代理。通过结合基于梯度的监督与基于聚类的伪标签生成，CGDM提升了类别级别的对齐效果，并在ImageCLEF、VisDA-2017和DomainNet上实现了最先进性能，相比先前方法平均准确率提升1.5%。

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to generalize the knowledge learned from a well-labeled source domain to an unlabeled target domain. Recently, adversarial domain adaptation with two distinct classifiers (bi-classifier) has been introduced into UDA which is effective to align distributions between different domains. Previous bi-classifier adversarial learning methods only focus on the similarity between the outputs of two distinct classifiers. However, the similarity of the outputs cannot guarantee the accuracy of target samples, i.e., target samples may match to wrong categories even if the discrepancy between two classifiers is small. To challenge this issue, in this paper, we propose a cross-domain gradient discrepancy minimization (CGDM) method which explicitly minimizes the discrepancy of gradients generated by source samples and target samples. Specifically, the gradient gives a cue for the semantic information of target samples so it can be used as a good supervision to improve the accuracy of target samples. In order to compute the gradient signal of target samples, we further obtain target pseudo labels through a clustering-based self-supervised learning. Extensive experiments on three widely used UDA datasets show that our method surpasses many previous state-of-the-arts. Codes are available at https://github.com/lijin118/CGDM.

研究动机与目标

• 解决双分类器对抗学习中输出差异小但无法保证目标样本分类准确的问题。
• 通过将梯度信号作为分类准确率的代理，提升类别级别的域对齐。
• 通过基于聚类的策略减少自监督目标标签中噪声伪标签带来的误差传播。
• 开发一种可泛化的损失机制，可集成到现有的双分类器对抗框架中。

提出的方法

• 该方法引入了一种梯度差异损失，通过在反向传播过程中最小化源域与目标域样本之间梯度的L1距离来实现。
• 基于聚类的自监督学习模块用于为目标样本生成更可靠的伪标签，降低监督信号中的噪声。
• 该框架将梯度差异最小化与自监督学习整合到统一的双分类器对抗训练目标中。
• 梯度信号通过损失相对于特征的梯度计算得到，提供一种反映模型置信度与语义一致性的动态监督信号。
• 该方法被形式化为一种广义损失项，使其可兼容除基础双分类器设置外的多种无监督域自适应范式。
• 该方法采用端到端训练，损失函数在源数据的监督损失、目标数据的自监督损失与梯度差异损失之间进行权衡。

Figure 1: Illustration of the issue in previous bi-classifier adversarial learning. Previous methods only consider the discrepancy between classifiers and neglect the accuracy of the target samples.

实验结果

研究问题

• RQ1 在无监督域自适应中，源域与目标域样本之间的梯度差异能否作为分类准确率的可靠代理？
• RQ2 与基于输出的差异最小化相比，最小化梯度差异是否能带来更好的类别级别对齐？
• RQ3 基于聚类的伪标签生成能否提升无监督域自适应中自监督学习的可靠性，尤其是在大域偏移场景下？
• RQ4 在多样化的数据集上，该方法在鲁棒性与泛化能力方面相较于当前最先进方法表现如何？

主要发现

• 在ImageCLEF数据集上，所提方法实现了89.5%的平均准确率，较之前最先进方法高出1.5个百分点。
• 在C→P等具有挑战性的域偏移场景中，该方法展现出显著的准确率提升，表明其对大域偏移具有强鲁棒性。
• 在VisDA-2017与DomainNet基准上，该方法大幅超越现有最先进方法，尤其在高类别数与高域偏移设置下表现突出。
• 消融实验证实，梯度差异模块与自监督学习模块均对性能有显著贡献，两者联合使用时效果最佳。
• 模型表现出稳定的收敛性与较低的超参数敏感度，尤其当梯度差异损失权重保持在1以下时更为明显。
• 使用t-SNE进行的特征可视化表明，应用CGDM后，目标域特征在类别级别上与源域特征对齐得更好，表明模型判别能力与分布对齐性均得到提升。

Figure 2: An illustration of our framework. Both source samples and target samples are passed through the generator $G$ and two classifiers $F_{1}$ and $F_{2}$ . Then the supervised loss is used to minimize the classification error on source samples. We use a self-supervised mechanism to reduce the