[论文解读] Cross-domain Self-supervised Learning for Domain Adaptation with Few Source Labels

Donghyun Kim, Kuniaki Saito+4 more|arXiv (Cornell University)|Mar 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 33

一句话总结

本文提出 CDS，一种跨域自监督预训练方法，能够产生具区分性且域不变的特征，使在只有少量标记源样本和未标记目标数据的情况下实现有效的域适应。

ABSTRACT

Existing unsupervised domain adaptation methods aim to transfer knowledge from a label-rich source domain to an unlabeled target domain. However, obtaining labels for some source domains may be very expensive, making complete labeling as used in prior work impractical. In this work, we investigate a new domain adaptation scenario with sparsely labeled source data, where only a few examples in the source domain have been labeled, while the target domain is unlabeled. We show that when labeled source examples are limited, existing methods often fail to learn discriminative features applicable for both source and target domains. We propose a novel Cross-Domain Self-supervised (CDS) learning approach for domain adaptation, which learns features that are not only domain-invariant but also class-discriminative. Our self-supervised learning method captures apparent visual similarity with in-domain self-supervision in a domain adaptive manner and performs cross-domain feature matching with across-domain self-supervision. In extensive experiments with three standard benchmark datasets, our method significantly boosts performance of target accuracy in the new target domain with few source labels and is even helpful on classical domain adaptation scenarios.

研究动机与目标

• 在源标签稀缺时，在域移位条件下激发学习，使传统无监督域适应变得不现实。
• 开发一种自监督预训练框架，在没有标签的情况下产生域不变且对类别具辨别性的特征。
• 实现使用少量标记源样本和未标记目标数据的有效下游域适应。
• 展示 CDS 预训练表征在标准基准上提高目标域准确率。

提出的方法

• 提出带有两种互补损失的跨域自监督（CDS）学习：域内实例辨别和跨域匹配。
• 使用来自源域和目标域的域内特征的记忆库来计算域内相似性分布，并在每个域内执行实例辨别。
• 通过计算跨域相似性并最小化熵来引入跨域基于记忆的匹配，以在域间强制正匹配并排斤未匹配样本。
• 将这两种损失合并为 L_CDS = L_W-INS + L_CDM，并以动量更新方式更新记忆库。

实验结果

研究问题

• RQ1 在只有少量源标签的情况下，具跨域监督的自监督预训练是否能产生既具辨别性又域不变的特征？
• RQ2 在多个基准和标注稀缺设置下，CDS 预训练是否在下游域适应性能上优于 ImageNet 预训练模型？
• RQ3 域内自监督和跨域自监督如何促成域对齐以及源域到目标域的知识转移？
• RQ4 CDS 是否在传统的域适应设置以及所提的少源标签场景中都有效？

主要发现

• 在 Office、Office-Home、VisDA 数据集上，在 1-shot、3-shot 以及极少标注设置下，CDS 相较于若干基线（包括 ImageNet 预训练）显著提升目标域准确率。
• 当标注源样本数量减少时，CDS 的增益越大，表明对稀缺监督具有鲁棒性。
• CDS 预训练表征在域适应任务中的下游性能优于纯半监督或对抗性训练的基线。
• 与标准自监督基线相比，CDS 获得显著更高的域适应目标准确率，说明跨域对齐的好处。
• 在 CDS 之上进行半监督学习可以进一步提升目标准确率，而不牺牲源域的辨别性。