[论文解读] Causal Transfer in Machine Learning

Mateo Rojas-Carulla, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 41被引用 16

一句话总结

该论文提出了一种机器学习中的因果迁移方法，通过识别在所有领域中给定目标的条件分布保持不变的预测变量子集，实现在协变量偏移下的最优预测。该方法提出了一种实用算法，可自动推断该子集，并在合成数据和基因删除数据上进行了验证，展示了在零样本测试设置下的改进泛化性能。

ABSTRACT

Methods of domain adaptation try to combine knowledge from several related domains (or tasks) to improve performance on a test domain. Inspired by causal methodology, we assume that the covariate shift assumption holds true for a subset of predictor variables: the conditional of the target variable given this subset of predictors is invariant over all tasks. We prove that in an adversarial setting using this subset for prediction is optimal if no examples from the test task are observed. For a specific scenario, in which tasks are drawn from a meta distribution, further optimality results are available. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

研究动机与目标

• 通过识别在所有领域中给定目标的条件分布保持不变的预测变量子集，解决机器学习中的领域偏移问题。
• 形式化该不变子集在对抗性设置和元学习设置下实现最优预测的条件。
• 开发一种实用方法，无需测试领域样本即可自动检测不变预测变量子集。
• 在合成数据和真实世界生物数据上验证该方法，展示在协变量偏移下改进的泛化性能。

提出的方法

• 该方法假设一组预测变量满足不变性假设：给定这些预测变量的目标条件分布在所有任务中保持不变。
• 将问题形式化为使用因果框架识别该不变子集，利用仅不变预测变量应在无测试数据时用于预测的事实。
• 通过任务上的元分布推导出在特定条件下该不变子集的理论最优性保证。
• 提出一种实用算法，通过在任务间使用可微分代理实现不变性，以优化方式学习不变子集。
• 该方法已实现并发布代码，可应用于真实世界数据集，如基因删除实验。

实验结果

研究问题

• RQ1 在何种条件下，不变预测变量子集足以实现在领域自适应中的最优预测？
• RQ2 能否使用因果框架识别出在所有领域中保持不变的最小预测变量集合？
• RQ3 在无任何测试领域样本的零样本设置下，所提出方法的性能如何？
• RQ4 与基线领域自适应技术相比，该方法在合成数据和真实世界数据上的实证性能如何？

主要发现

• 当无测试领域样本时，不变预测变量子集可在对抗性设置下实现最优预测性能。
• 在任务上的元分布假设下建立了理论最优性，表明不变子集可最小化期望风险。
• 在合成数据上，该方法成功识别出不变预测变量子集，在零样本预测中达到高准确率。
• 在基因删除数据集上，该方法通过利用因果不变性，优于标准领域自适应基线方法，实现了更好的泛化性能。