[论文解读] Invariant Models for Causal Transfer Learning

Mateo Rojas-Carulla, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 36被引用 163

一句话总结

本文通过识别给定目标条件下在不同领域中条件分布保持不变的预测变量子集，提出用于迁移学习的不变因果模型。利用这种不变性，该方法在对抗性条件下实现了领域泛化任务的最优性能，并在任务多样化时优于数据池化方法，同时提供了自动子集推断的实用算法，并在合成数据和基因删除数据上进行了实证验证。

ABSTRACT

Methods of transfer learning try to combine knowledge from several related tasks (or domains) to improve performance on a test task. Inspired by causal methodology, we relax the usual covariate shift assumption and assume that it holds true for a subset of predictor variables: the conditional distribution of the target variable given this subset of predictors is invariant over all tasks. We show how this assumption can be motivated from ideas in the field of causality. We focus on the problem of Domain Generalization, in which no examples from the test task are observed. We prove that in an adversarial setting using this subset for prediction is optimal in Domain Generalization; we further provide examples, in which the tasks are sufficiently diverse and the estimator therefore outperforms pooling the data, even on average. If examples from the test task are available, we also provide a method to transfer knowledge from the training tasks and exploit all available features for prediction. However, we provide no guarantees for this method. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

研究动机与目标

• 解决在训练期间无法获取测试数据的迁移学习中的领域泛化问题。
• 通过仅在部分预测变量上假设不变性，放宽标准的协变量偏移假设。
• 开发一种可自动识别不变预测变量子集并提升泛化性能的方法。
• 为在对抗性领域泛化设置下使用不变预测变量实现最优预测提供理论保证。

提出的方法

• 该方法假设目标变量给定预测变量子集的条件分布在整个所有领域中保持不变，其动机源于因果结构方程。
• 证明仅使用不变预测变量可在对抗性条件下实现领域泛化中的最优预测。
• 提出一种实用算法，通过回归与不变性检验的结合，推断不变预测变量子集。
• 采用两阶段方法：首先识别不变集合，然后在这些特征上训练模型进行预测。
• 对于存在测试数据的情况，提出一种结合所有特征的迁移方法，但未提供理论保证。
• 通过在合成数据和基因删除数据集上的实验验证了该方法，代码已公开。

实验结果

研究问题

• RQ1 我们能否识别出一组预测变量，其在给定目标条件下的条件分布在不同领域中保持不变？
• RQ2 仅使用不变预测变量是否可在对抗性分布偏移下的领域泛化中实现最优性能？
• RQ3 我们能否在无先验知识的情况下自动推断不变预测变量子集？
• RQ4 与简单数据池化方法相比，所提出方法在泛化性能方面表现如何？
• RQ5 任务多样性对不变模型性能的影响如何，相较于标准迁移学习方法？

主要发现

• 不变预测变量子集可在对抗性分布偏移下的领域泛化中实现最优预测性能。
• 当任务足够多样化时，该方法在平均性能上优于数据池化方法，尽管对池化方法未提供任何保证。
• 理论分析表明，给定不变预测变量的目标变量条件分布在所有领域中均相同。
• 在合成数据上的实证结果表明，该方法在各种配置下均能正确识别不变集合。
• 在基因删除数据集上，该方法相比标准迁移学习基线实现了更优的泛化性能。
• 所提出的用于自动推断不变集合的算法在合成实验中成功恢复了真实子集。