[论文解读] Invariant and Transportable Representations for Anti-Causal Domain Shifts

Yibo Jiang, Victor Veitch|arXiv (Cornell University)|Jul 4, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出ACTIR，一种用于反因果域偏移的表征学习框架，其中标签导致特征。通过使用存在未观测混杂因子的因果模型，该方法将不变（因果）因素与域特定（非因果）因素解耦，从而实现域不变预测与快速适应。该方法在PACS和VLCS基准上达到最先进性能，其不变准确率和微调速度均优于IRM和MAML。

ABSTRACT

Real-world classification problems must contend with domain shift, the (potential) mismatch between the domain where a model is deployed and the domain(s) where the training data was gathered. Methods to handle such problems must specify what structure is common between the domains and what varies. A natural assumption is that causal (structural) relationships are invariant in all domains. Then, it is tempting to learn a predictor for label $Y$ that depends only on its causal parents. However, many real-world problems are "anti-causal" in the sense that $Y$ is a cause of the covariates $X$ -- in this case, $Y$ has no causal parents and the naive causal invariance is useless. In this paper, we study representation learning under a particular notion of domain shift that both respects causal invariance and that naturally handles the "anti-causal" structure. We show how to leverage the shared causal structure of the domains to learn a representation that both admits an invariant predictor and that also allows fast adaptation in new domains. The key is to translate causal assumptions into learning principles that disentangle "invariant" and "non-stable" features. Experiments on both synthetic and real-world data demonstrate the effectiveness of the proposed learning algorithm. Code is available at https://github.com/ybjiaang/ACTIR.

研究动机与目标

• 解决真实世界机器学习中的域偏移问题，其中因果关系保持不变，但标签到特征的方向相反（反因果），导致标准因果不变性方法失效。
• 基于共享反因果结构与跨域混杂因子驱动的变异，形式化定义一类新的域偏移。
• 开发一种学习过程，生成的表征可同时实现域间不变预测与在新域中的快速适应。
• 通过实证验证，该方法能成功解耦不变与适应性因素，并在多样化域之间实现良好泛化。

提出的方法

• 引入一个具有潜在混杂因子U和X潜在原因Z的结构因果模型，其中Y导致X，且U引发域特定关联。
• 将域偏移定义为未观测混杂因子U在不同域间分布的变化，而因果结构P(Y|Z)保持不变。
• 提出一种表示学习目标，通过对比学习与不变性正则化，将特征解耦为不变（Z）与与U相关的域特定成分。
• 采用双流神经架构：共享编码器用于Z，域特定头用于U，通过微调实现快速适应。
• 使用对比损失以促进跨域的不变表征，同时使用域特定头建模非不变特征。
• 使用Adam优化器并配合学习率调度进行端到端训练，并在测试域上评估不变性能与微调准确率。

实验结果

研究问题

• RQ1 我们能否定义一种符合因果不变性、同时能处理Y导致X的反因果结构的域偏移原则性概念？
• RQ2 我们如何学习既在域间保持不变，又可在新域中实现快速适应的表征？
• RQ3 在反因果设定下，能否成功解耦不变（因果）与非不变（混杂因子驱动）的变异因素？
• RQ4 所提出方法是否在真实世界基准上优于现有的域泛化与少样本适应基线？

主要发现

• 在PACS数据集上，ACTIR实现了最高不变准确率，分别达到艺术域82.55%、卡通域76.62%、照片域94.17%和素描域62.14%。
• 在VLCS数据集上，ACTIR在Caltech上达到95.15%的不变准确率，LabelMe为64.34%，SUN为72.31%，VOCS为74.12%，在多数域中优于IRM和MAML。
• 仅经过20步微调且学习率为10^-2时，ACTIR在PACS基准除一个域外的所有域中均达到最佳适应性能。
• 即使标签分布跨域不一致，模型仍表现出鲁棒性，如在VLCS上，尽管存在类别不平衡，模型仍保持强劲性能。
• 定性分析表明，ACTIR成功将不变特征（如形状）与域特定特征（如颜色、纹理）解耦，尤其在训练域多样性较高的情况下表现明显。
• 在PACS的素描域（S）上，ACTIR表现较差，可能由于训练数据中缺乏无色域，导致域多样性不足，表明需要更丰富的训练分布。