[论文解读] Domain Adaptation by Using Causal Inference to Predict Invariant Conditional Distributions

Sara Magliacane, Thijs van Ommen+4 more|arXiv (Cornell University)|Jul 20, 2017

Domain Adaptation and Few-Shot Learning被引用 91

一句话总结

本文提出一种因果域自适应方法，使用 Joint Causal Inference 选择分离特征集，以确保 Y|A 在源域和目标域之间不变，从而在未知因果图的情况下实现迁移。

ABSTRACT

An important goal common to domain adaptation and causal inference is to make accurate predictions when the distributions for the source (or training) domain(s) and target (or test) domain(s) differ. In many cases, these different distributions can be modeled as different contexts of a single underlying system, in which each distribution corresponds to a different perturbation of the system, or in causal terms, an intervention. We focus on a class of such causal domain adaptation problems, where data for one or more source domains are given, and the task is to predict the distribution of a certain target variable from measurements of other variables in one or more target domains. We propose an approach for solving these problems that exploits causal inference and does not rely on prior knowledge of the causal graph, the type of interventions or the intervention targets. We demonstrate our approach by evaluating a possible implementation on simulated and real world data.

研究动机与目标

• 推动域适应，在源分布和目标分布由于干预或情境而不同的情形。
• 开发一种不需要完整的因果图或干预目标知识的方法。
• 识别分离特征集 A，使给定 A 的 Y 在不同域中不变。
• 提供一个可行性实现，用于处理潜在混杂因素。
• 在合成数据和来自小鼠遗传学的现实世界血液学数据上评估该方法。

提出的方法

• 用包含系统变量和情境变量的结构因果模型来建模数据。
• 将域移位表述为由 Joint Causal Inference (JCI) 中的情境变量表示的干预。
• 在因果图中定义一个分离集 A，使 C1（域）在给定 A 时条件独立于 Y。
• 使用因果发现/发现辅助方法通过条件独立性和自动定理证明器来测试 A。
• 用随机森林按源域风险对特征子集进行排序，并搜索满足 C1 ⟂ Y | A 的 A。
• 在 A 是分离集时，使用能够处理协变量偏移的方法从 A 预测 Y。

实验结果

研究问题

• RQ1 我们是否能识别一个变量子集 A，使得在联合系统中 C1 相对于给定的 A 与 Y 独立，从而确保跨域的 Y|A 不变？
• RQ2 如何利用 Joint Causal Inference 在不完整因果图知识的情况下发现分离集？
• RQ3 使用非分离特征集时，迁移偏差和信息不足偏差的影响是什么？
• RQ4 所提出的方法能否处理潜在混杂因素和域适应中的各种干预类型？
• RQ5 该方法在合成数据和现实世界生物数据上的表现如何？

主要发现

• 在该框架下存在分离集 A，使得源域和目标域之间的 Y|A 不变。
• 使用 A 可以降低迁移偏差，并在 A 满足分离条件时对目标域风险提供渐近保证。
• 一种实用算法将特征排序与因果推理证明器相结合，以识别分离集。
• 当未找到分离集时，该方法将不进行预测，以避免任意的糟糕迁移。
• 评估显示该方法在合成数据和 IMPC 小鼠遗传数据上的表现，并与标准特征选择基线进行比较。
• 实现可在线获取以实现可重复性（caus-am/dom_adapt）。