[论文解读] ECACL: A Holistic Framework for Semi-Supervised Domain Adaptation

Kai Li, Chang Liu+3 more|arXiv (Cornell University)|Apr 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 4

一句话总结

该论文提出 ECACL，一种整体性的半监督域自适应框架，统一了多种互补的域对齐技术——通过原型和三元组损失实现的类别级对齐、基于 RandAugment 的数据增强，以及双增强一致性学习，实现了最先进性能，在 VisDA2017（1-shot）上达到 81.1% 的平均准确率，在 DomainNet（1-shot）上达到 53.4%，显著优于先前方法。

ABSTRACT

This paper studies Semi-Supervised Domain Adaptation (SSDA), a practical yet under-investigated research topic that aims to learn a model of good performance using unlabeled samples and a few labeled samples in the target domain, with the help of labeled samples from a source domain. Several SSDA methods have been proposed recently, which however fail to fully exploit the value of the few labeled target samples. In this paper, we propose Enhanced Categorical Alignment and Consistency Learning (ECACL), a holistic SSDA framework that incorporates multiple mutually complementary domain alignment techniques. ECACL includes two categorical domain alignment techniques that achieve class-level alignment, a strong data augmentation based technique that enhances the model's generalizability and a consistency learning based technique that forces the model to be robust with image perturbations. These techniques are applied on one or multiple of the three inputs (labeled source, unlabeled target, and labeled target) and align the domains from different perspectives. ECACL unifies them together and achieves fairly comprehensive domain alignments that are much better than the existing methods: For example, ECACL raises the state-of-the-art accuracy from 68.4 to 81.1 on VisDA2017 and from 45.5 to 53.4 on DomainNet for the 1-shot setting. Our code is available at \url{https://github.com/kailigo/pacl}.

研究动机与目标

• 为解决半监督域自适应（SSDA）中仅存在少量标注目标样本（地标）而源域标注数据和未标注目标数据丰富的未充分探索问题。
• 克服现有 SSDA 方法因在损失函数中稀释了这些稀少标注目标样本的贡献，而未能充分利用其信息潜力的局限性。
• 设计一个统一框架，整合多种互补的域对齐技术，实现在源域与目标域之间全面、多角度的对齐。
• 通过结合强数据增强（RandAugment）和未标注目标样本上的一致性学习，提升模型泛化能力与鲁棒性。

提出的方法

• ECACL 使用原型损失，将源域特征与基于标注目标地标计算的类别特定目标原型对齐，实现类别级域对齐。
• 应用三元组损失，促使源域特征更接近同类别地标，远离异类地标，增强判别性特征学习。
• 对标注源样本和目标地标均应用 RandAugment，生成高度扰动的增强样本，提升分类对齐的难度与鲁棒性。
• 通过生成未标注目标图像的轻度增强版本的伪标签，并将其作为强增强版本的目标，强制实施一致性学习，提升对输入扰动的鲁棒性。
• 该框架在多个输入（源域标注、目标域标注和未标注目标）之间整合这些技术，实现从多样化视角出发的整体域对齐。
• ECACL 设计为即插即用模块，可与多种现有无监督域自适应（UDA）方法（如 MME、HAFN 和 SAFN）兼容，在不改变网络结构的前提下提升其性能。

Figure 1: Illustration of the proposed ECACL framework. ECACL includes three modules: (1) The unsupervised domain alignment module that performs domain alignment using labeled source and unlabeled target samples. (2) The enhanced categorical alignment module that conducts class-level alignment by ex

实验结果

研究问题

• RQ1 多种互补域对齐技术的整合是否能显著提升仅存在少量标注目标样本的半监督域自适应性能？
• RQ2 在结合强数据增强和一致性学习的前提下，利用目标地标进行类别级对齐在减少域偏移方面效果如何？
• RQ3 与标准增强策略相比，基于 RandAugment 的增强在低样本标注目标场景下对模型泛化能力的提升程度如何？
• RQ4 采用双增强（轻度与强增强）的一致性学习是否能增强模型鲁棒性并促进 SSDA 中的标签传播？
• RQ5 ECACL 是否能灵活集成到现有 UDA 方法中，在不同基准和主干网络架构上实现一致的性能提升？

主要发现

• 在 VisDA2017 数据集的 1-shot 设置下，ECACL 实现了 81.1% 的新最先进平均准确率，相较之前最先进结果（68.4%）显著提升。
• 在 DomainNet 基准上，ECACL 在 1-shot 设置下达到 53.4% 的平均准确率，远超此前最先进水平（45.5%）。
• 在 3-shot 设置下，ECACL 在 VisDA2017 上实现 85.3% 的平均准确率，在 DomainNet 上达到 83.3%，展现出在不同样本设置下的强大泛化能力。
• 消融实验表明，每个组件——原型损失、三元组损失、RandAugment 和一致性学习——均对性能有显著贡献，完整 ECACL 框架表现最佳。
• 该框架具有高度灵活性，作为插件模块集成到多种 UDA 基线（包括 MME、HAFN 和 SAFN）中时，可在多个基准上一致提升性能。
• 结果表明，即使目标数据标注极少（地标），只要结合多视角对齐与稳健训练策略，也能实现其信息潜力的最大化利用。

Figure 2: (a): Accuracy with different numbers of labeled samples per class in target domain. (b): Sensitivity analysis with respect to the confident threshold $\sigma$ (Eq. ( 11 )). (c): t-SNE visualization of the learned features of 3 randomly selected classes. Different colors represent different