[论文解读] Aggregation of Disentanglement: Reconsidering Domain Variations in Domain Generalization

Daoan Zhang, Mingkai Chen+3 more|arXiv (Cornell University)|Feb 5, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出领域解耦网络（DDN），一种新颖的领域泛化框架，通过学习领域特定分类器和对比学习来解耦任务相关的领域不变特征与领域特异性变化。DDN在PACS、VLCS、OfficeHome、DomainNet和TerraIncognita数据集上均优于最先进方法，通过有效聚合源领域知识以泛化到未见目标领域，实现了新的SOTA性能。

ABSTRACT

Domain Generalization (DG) is a fundamental challenge for machine learning models, which aims to improve model generalization on various domains. Previous methods focus on generating domain invariant features from various source domains. However, we argue that the domain variantions also contain useful information, ie, classification-aware information, for downstream tasks, which has been largely ignored. Different from learning domain invariant features from source domains, we decouple the input images into Domain Expert Features and noise. The proposed domain expert features lie in a learned latent space where the images in each domain can be classified independently, enabling the implicit use of classification-aware domain variations. Based on the analysis, we proposed a novel paradigm called Domain Disentanglement Network (DDN) to disentangle the domain expert features from the source domain images and aggregate the source domain expert features for representing the target test domain. We also propound a new contrastive learning method to guide the domain expert features to form a more balanced and separable feature space. Experiments on the widely-used benchmarks of PACS, VLCS, OfficeHome, DomainNet, and TerraIncognita demonstrate the competitive performance of our method compared to the recently proposed alternatives.

研究动机与目标

• 为了解决现有领域泛化方法过度强调领域不变特征而忽略有用的任务特定领域变化的局限性。
• 使模型能够学习并利用对下游分类任务具有信息量的领域特定特征。
• 开发一种框架，通过聚合源领域中解耦的领域专家特征，实现对未见目标领域的泛化。
• 通过一种新颖的对比学习策略提升特征表示质量，增强不同领域之间的可分性和平衡性。

提出的方法

• 该方法引入领域专家分类器（DECs），即领域特定的分类器和投影头，用于在每个源领域中学习任务特定的特征。
• 采用领域原型对比学习（DPCL），一种对比损失，通过域内对齐和域间均匀性来促进特征解耦。
• 模型在学习到的潜在空间中将输入图像解耦为领域不变特征和领域专家特征，从而实现每个领域的独立分类。
• 推理阶段，未见目标领域的特征被映射到源领域专家特征的聚合空间，实现有效的泛化。
• 框架使用共享主干网络进行特征提取，同时通过领域特定的头模块保留任务特定的变化。
• 对比学习目标通过代理锚点和记忆库进行优化，以稳定训练并提升特征判别能力。

Figure 1: Domains differ from each other. Some features that benefit classification tasks in one domain have no presence in other domains. For example, skin texture features in domain 1 (left) help in identifying the elephant, and in domain 2 (middle), no texture features are present for classificat

实验结果

研究问题

• RQ1 能否利用任务特定的领域变化而非仅领域不变特征来提升领域泛化性能？
• RQ2 如何有效解耦并聚合源领域中的领域特定特征，以表征未见目标领域？
• RQ3 对比学习策略能否增强不同领域之间领域专家特征的可分性和平衡性？
• RQ4 在零样本领域泛化中，领域专家特征相较于纯领域不变表示在多大程度上表现更优？

主要发现

• 在PACS数据集上，DDN实现了87.2%的平均准确率，比次优方法高出0.2%。
• 在VLCS上，该方法实现了83.8%的平均准确率，展现出在多样化领域偏移下的强大泛化能力。
• 在OfficeHome数据集上，DDN在Sketch领域达到了97.1%的准确率，表明其对领域特异性噪声和变化具有鲁棒性。
• 消融实验表明，若移除DPCL或共享分类器，性能显著下降，证明了二者必要性。
• t-SNE可视化显示，与ERM和SelfReg相比，DDN的特征在类内聚类更紧密，类间分布更均匀。
• 批量大小消融实验表明，随着批量大小增加，性能提升，证实了对比学习对训练动态的敏感性。

Figure 2: Left: The relationships between source and target domains.; Right: The disentangled task-specific domain variations and domain expert features of target domains.