[论文解读] Domain-Irrelevant Representation Learning for Unsupervised Domain Generalization.

Xingxuan Zhang, Linjun Zhou+4 more|arXiv (Cornell University)|Jul 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 66被引用 4

一句话总结

本文提出领域无关无监督学习（DIUL），一种无监督领域自适应方法，通过从无标签数据中学习领域无关表征，以提升模型在分布偏移下的泛化能力。即使使用远少于ImageNet的无标签数据，DIUL的性能仍优于ImageNet预训练，展现出强大的鲁棒性与泛化能力，尤其在标签数据稀缺或充足时表现突出。

ABSTRACT

Domain generalization (DG) aims to help models trained on a set of source domains generalize better on unseen target domains. The performances of current DG methods largely rely on sufficient labeled data, which however are usually costly or unavailable. While unlabeled data are far more accessible, we seek to explore how unsupervised learning can help deep models generalizes across domains. Specifically, we study a novel generalization problem called unsupervised domain generalization, which aims to learn generalizable models with unlabeled data. Furthermore, we propose a Domain-Irrelevant Unsupervised Learning (DIUL) method to cope with the significant and misleading heterogeneity within unlabeled data and severe distribution shifts between source and target data. Surprisingly we observe that DIUL can not only counterbalance the scarcity of labeled data but also further strengthen the generalization ability of models when the labeled data are sufficient. As a pretraining approach, DIUL shows superior to ImageNet pretraining protocol even when the available data are unlabeled and of a greatly smaller amount compared to ImageNet. Extensive experiments clearly demonstrate the effectiveness of our method compared with state-of-the-art unsupervised learning counterparts.

研究动机与目标

• 为解决缺乏标签数据时的领域自适应挑战，特别是当标签数据稀缺或不可用时。
• 减轻无监督设置下源域与目标域之间严重分布偏移及领域特异性异质性的影响。
• 开发一种预训练方法，即使使用显著更小的无标签数据集，也能使模型泛化能力超越标准的ImageNet预训练。
• 探究无监督表示学习是否不仅能提升低数据场景下的泛化性能，也能在标签数据充足时增强泛化能力。

提出的方法

• DIUL通过对比学习目标最小化领域特异性特征，学习领域无关表征，以实现跨领域的不变性。
• 该方法采用双分支神经网络结构，共享编码器与领域特异性预测头，以解耦领域特异性与可泛化特征。
• 使用领域不变对比损失，将同一图像的增强样本（正样本）拉近，同时将跨领域的样本（负样本）推开。
• 该框架仅在无标签数据上端到端训练，预训练阶段完全不依赖标签。
• 预训练完成后，模型在下游任务上使用极少标签数据进行微调，从而利用学习到的领域鲁棒特征。

实验结果

研究问题

• RQ1 当缺乏标签数据时，无监督表示学习是否能有效提升领域自适应性能？
• RQ2 DIUL如何减轻无标签数据中领域特异性噪声与分布偏移的负面影响？
• RQ3 即使使用的无标签数据远少于ImageNet规模，DIUL是否仍优于标准的ImageNet预训练？
• RQ4 DIUL是否不仅能提升低数据场景下的泛化性能，也能在标签数据充足时增强泛化能力？

主要发现

• DIUL在多个领域自适应基准上，相比最先进无监督学习方法，实现了更优的泛化性能。
• 即使可用的无标签数据规模远小于ImageNet，DIUL仍优于ImageNet预训练。
• 该方法在分布偏移场景下表现出更强的鲁棒性，尤其在标签数据有限或完全缺失时。
• 令人惊讶的是，当标签数据充足时，DIUL仍能进一步提升模型泛化能力，表明其在数据稀缺场景之外同样有效。