[论文解读] Meta-causal Learning for Single Domain Generalization

Jin Chen, Zhi Gao+2 more|arXiv (Cornell University)|Apr 7, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种新颖的模拟-分析-缩减范式，用于单域泛化，通过元因果学习在转换后的辅助域上进行反事实推理，推断并减少域偏移的原因。该方法通过学习元知识以在测试期间引导自适应域对齐，在图像分类基准上实现了最先进性能，尤其在大域偏移情况下表现优异。

ABSTRACT

Single domain generalization aims to learn a model from a single training domain (source domain) and apply it to multiple unseen test domains (target domains). Existing methods focus on expanding the distribution of the training domain to cover the target domains, but without estimating the domain shift between the source and target domains. In this paper, we propose a new learning paradigm, namely simulate-analyze-reduce, which first simulates the domain shift by building an auxiliary domain as the target domain, then learns to analyze the causes of domain shift, and finally learns to reduce the domain shift for model adaptation. Under this paradigm, we propose a meta-causal learning method to learn meta-knowledge, that is, how to infer the causes of domain shift between the auxiliary and source domains during training. We use the meta-knowledge to analyze the shift between the target and source domains during testing. Specifically, we perform multiple transformations on source data to generate the auxiliary domain, perform counterfactual inference to learn to discover the causal factors of the shift between the auxiliary and source domains, and incorporate the inferred causality into factor-aware domain alignments. Extensive experiments on several benchmarks of image classification show the effectiveness of our method.

研究动机与目标

• 为解决在训练期间仅有一个源域可用，而需泛化到多个未见目标域的单域泛化挑战。
• 克服现有方法仅扩展源域分布而未显式建模或估计域偏移的局限性。
• 使模型能够通过推断源域与目标域之间分布差异的因果因素，分析并减少域偏移。
• 开发一种元学习框架，以在多样化域偏移间泛化因果推断知识，实现鲁棒适应。

提出的方法

• 该方法通过对源数据应用多种数据变换构建辅助域，模拟潜在的目标域偏移。
• 构建因果图以建模数据、变体因素、语义概念和标签之间的依赖关系，用于反事实推理。
• 通过干预变体因素执行反事实推理，以估计其对预测的因果效应，识别域偏移的根本原因。
• 通过效果到权重网络将推断出的因果效应转换为因子感知的域对齐自适应权重。
• 在测试阶段，应用学习到的元知识以分析源域与未见目标域之间偏移的因果结构。
• 模型利用推断出的因果效应动态调整特征映射，通过自适应对齐减少域差异。

实验结果

研究问题

• RQ1 模型能否学习推断导致源域与未见目标域之间域偏移的因果因素？
• RQ2 学习关于因果偏移分析的元知识是否能提升单域泛化中的泛化性能？
• RQ3 在辅助域上进行反事实推理在测试期间如何有助于估计并减少真实域偏移？
• RQ4 在现实世界图像分布偏移中，光照和几何变体因素在建模域偏移方面起到了多大程度的贡献？

主要发现

• 所提方法在多个图像分类基准上实现了最先进性能，使用ResNet-18在PACS数据集上达到69.86%的平均准确率。
• 在更具挑战性的Photo-to-Sketch和Photo-to-Cartoon设置中，该方法分别达到62.55%和80.14%的准确率，优于基线方法。
• 消融实验表明，若不进行因果分析而直接减少域偏移（DTA）会损害性能，表明未引导对齐存在负迁移。
• 因果效应可视化证实，该方法正确识别出NoiseGaussian是CIFAR10-C偏移中的主导因素，且推断权重随损坏严重程度增加。
• 因子分析显示，仅使用光照因素（Ours_PT）优于仅使用几何因素（Ours_GT），但两者结合可获得最佳性能，凸显多因素建模的必要性。
• 该方法在大域偏移下表现出鲁棒性，尤其在目标域分布与源域显著不同时表现尤为出色。