[论文解读] Causality Inspired Representation Learning for Domain Generalization

Fangrui Lv, Jian Liang+5 more|arXiv (Cornell University)|Mar 27, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文提出因果启发表示学习（CIRL），一种领域泛化方法，通过强制实现三个理想特性——与非因果因素分离、因素之间联合独立，以及因果充分性——来学习不变的、因果充分的表示。通过利用因果干预和因子分解模块，CIRL在PACS等基准数据集上取得了最先进性能，未见领域偏移下的平均准确率达到86.32%。

ABSTRACT

Domain generalization (DG) is essentially an out-of-distribution problem, aiming to generalize the knowledge learned from multiple source domains to an unseen target domain. The mainstream is to leverage statistical models to model the dependence between data and labels, intending to learn representations independent of domain. Nevertheless, the statistical models are superficial descriptions of reality since they are only required to model dependence instead of the intrinsic causal mechanism. When the dependence changes with the target distribution, the statistic models may fail to generalize. In this regard, we introduce a general structural causal model to formalize the DG problem. Specifically, we assume that each input is constructed from a mix of causal factors (whose relationship with the label is invariant across domains) and non-causal factors (category-independent), and only the former cause the classification judgments. Our goal is to extract the causal factors from inputs and then reconstruct the invariant causal mechanisms. However, the theoretical idea is far from practical of DG since the required causal/non-causal factors are unobserved. We highlight that ideal causal factors should meet three basic properties: separated from the non-causal ones, jointly independent, and causally sufficient for the classification. Based on that, we propose a Causality Inspired Representation Learning (CIRL) algorithm that enforces the representations to satisfy the above properties and then uses them to simulate the causal factors, which yields improved generalization ability. Extensive experimental results on several widely used datasets verify the effectiveness of our approach.

研究动机与目标

• 解决基于统计依赖的领域泛化方法在分布偏移下失效的局限性，原因在于缺乏因果理解。
• 在结构因果模型（SCM）中形式化领域泛化，以区分因果因素（跨领域不变）与非因果因素（领域相关）。
• 开发一种实用方法，即使在未观测到因果结构的情况下，也能学习模仿真实因果因素的表示。
• 通过因果干预和因子分解强制实现表示不变性，确保学习到的表示对领域偏移具有不变性。
• 证明因果启发表示可提升分布外测试领域中的泛化能力和鲁棒性。

提出的方法

• 提出一个结构因果模型（SCM），其中输入X由因果因素S和非因果因素U混合构成，仅S对标签Y产生因果影响。
• 引入因果干预模块，生成U改变但S保持不变的扰动数据，以在不同领域间强制实现表示不变性。
• 设计因子分解模块，强制表示各维度之间的联合独立性，以近似理想因果因素。
• 通过确保每个表示维度捕捉对分类至关重要的、非冗余的因果信息，实现因果充分性。
• 使用对比学习目标，在保留因果结构的同时对齐不同领域的表示。
• 将因果干预和因子分解模块整合到使用标准反向传播的端到端训练框架中。

实验结果

研究问题

• RQ1 因果表示学习是否能超越统计依赖建模，在领域泛化方面实现更优性能？
• RQ2 在实践中，如何利用可观测表示有效近似未观测到的因果因素？
• RQ3 满足分离性、联合独立性和因果充分性的表示是否能带来更好的分布外泛化性能？
• RQ4 在真实世界领域偏移场景中，该方法对超参数选择的鲁棒性如何？
• RQ5 可视化注意力图能否证实CIRL学习的是类别特定的因果特征，而非虚假的与领域相关的模式？

主要发现

• 在PACS数据集上，当Sketch作为未见目标领域时，CIRL实现了86.32%的最先进平均准确率，优于现有SOTA方法。
• 消融研究证实，所有组件——因果干预、因子分解和对抗模块——均不可或缺，完整CIRL模型准确率为86.32%，而无因子分解的变体为84.99%。
• 表示独立性在训练过程中显著提升，非对角线相关性的Frobenius范数下降并趋于稳定，证实了有效联合独立性学习。
• CIRL实现了最高的平均表示重要性（3.22）和最低的标准差（0.09），表明每个维度均以有意义且一致的方式贡献于分类。
• 该方法对超参数变化具有鲁棒性，在τ（5.0–10.0）和κ（0.5–0.6）的广泛范围内均保持强性能，表现出良好稳定性。
• 可视化结果表明，CIRL聚焦于类别特定特征（如长颈鹿的脖子），而基线方法则关注非因果、领域特定的模式（如纹理），证实了因果对齐。