[论文解读] Domain Generalization via Contrastive Causal Learning

Qiaowei Miao, Junkun Yuan+1 more|arXiv (Cornell University)|Oct 6, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出对比因果模型（CCM），一种新颖的域泛化框架，通过结合因果推断与对比学习，提升零样本泛化能力。通过利用前门准则建模图像到标签的因果效应，并利用已见数据中的先验知识引导未见图像的预测，CCM在PACS、OfficeHome和TerraIncognita数据集上均取得最先进性能，其中在后两个数据集上平均准确率达到68.4%。

ABSTRACT

Domain Generalization (DG) aims to learn a model that can generalize well to unseen target domains from a set of source domains. With the idea of invariant causal mechanism, a lot of efforts have been put into learning robust causal effects which are determined by the object yet insensitive to the domain changes. Despite the invariance of causal effects, they are difficult to be quantified and optimized. Inspired by the ability that humans adapt to new environments by prior knowledge, We develop a novel Contrastive Causal Model (CCM) to transfer unseen images to taught knowledge which are the features of seen images, and quantify the causal effects based on taught knowledge. Considering the transfer is affected by domain shifts in DG, we propose a more inclusive causal graph to describe DG task. Based on this causal graph, CCM controls the domain factor to cut off excess causal paths and uses the remaining part to calculate the causal effects of images to labels via the front-door criterion. Specifically, CCM is composed of three components: (i) domain-conditioned supervised learning which teaches CCM the correlation between images and labels, (ii) causal effect learning which helps CCM measure the true causal effects of images to labels, (iii) contrastive similarity learning which clusters the features of images that belong to the same class and provides the quantification of similarity. Finally, we test the performance of CCM on multiple datasets including PACS, OfficeHome, and TerraIncognita. The extensive experiments demonstrate that CCM surpasses the previous DG methods with clear margins.

研究动机与目标

• 解决深度学习模型在域分布偏移下缺乏分布外泛化能力的问题。
• 通过引入一种新颖且全面的因果图，将域泛化形式化为因果推断问题，并融入先验知识。
• 量化并优化图像对标签的真实因果效应，独立于虚假的、与域相关的相关性。
• 通过对比相似性学习改进特征表示学习，使同一类别的特征在不同域中聚类。
• 开发一个统一框架，无需针对目标域进行特定适应，即可稳健泛化至未见目标域。

提出的方法

• 提出一种新的结构因果模型（SCM），包含域（D）、物体（O）、类别（C）、背景特征（E）、图像（X）、先验知识（Z）和标签（Y），其中D影响O和E，X与Z相关联。
• 应用前门准则，通过分解为P(X)、P(Z|X)和P(Y|Z,X)，估计do(X)→Y的因果效应，从而在存在未观测混杂因素的情况下实现因果效应量化。
• 设计三部分训练目标：(i) 域条件监督学习，用于学习X与Y之间的相关性；(ii) 因果效应学习，通过前门公式估计P(Y|do(X))；(iii) 对比相似性学习，用于聚合同一类别的特征。
• 利用对比学习强制同一类别图像的特征保持相似，提升跨域的泛化能力并稳定表示学习。
• 通过控制域因子D，消除虚假路径（D→O和D→E），利用前门准则隔离X到Y的真实因果路径。
• 采用知识迁移机制，将未见图像映射至由已见图像学习得到的先验知识（Z），实现对未见域的泛化。

实验结果

研究问题

• RQ1 如何将域泛化形式化为因果推断问题，以捕捉跨域间稳定且不变的关系？
• RQ2 如何量化并优化输入图像对标签的真实因果效应，使其独立于与域相关的分布偏移？
• RQ3 来自已见数据的先验知识在实现对未见域的零样本泛化中起到何种作用？
• RQ4 对比相似性学习如何提升域泛化中所学表示的鲁棒性与不变性？
• RQ5 能否设计一个结合因果推断与对比学习的统一模型，在多样化基准上超越现有域泛化方法？

主要发现

• CCM在OfficeHome和TerraIncognita数据集上达到68.4%的平均准确率，优于所有基线方法。
• 在PACS数据集上，CCM达到87.0%的准确率，显著超越次优方法。
• 消融实验表明，若移除知识迁移损失（ℒ_teach），性能降至接近随机水平，表明其在学习基本相关性中的关键作用。
• 因果效应学习（ℒ_learn）与对比相似性（ℒ_CS）的结合取得最佳性能，证实二者具有协同效应。
• T-SNE可视化显示，CCM生成的特征聚类更紧凑、类间分离更清晰，且具有流形结构，表明表示学习能力得到提升。
• 尽管在任一单一域上并非领先，CCM在TerraIncognita上实现了最高平均准确率，证明其在多样化域中具备更优的稳定性和泛化能力。