[论文解读] A Causal Perspective on Domain Adaptation

Mateo Rojas-Carulla, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 19, 2015

Domain Adaptation and Few-Shot Learning被引用 1

一句话总结

该论文提出一种因果方法进行域泛化，通过识别在所有域中条件分布保持稳定的不变预测因子子集，实现在无测试数据情况下的鲁棒泛化。该方法证明仅使用这些不变特征在对抗性设置下为最优，并在域差异较大时优于数据池化方法，同时提供了子集推断的实用方法及开源代码。

ABSTRACT

Methods of transfer learning try to combine knowledge from several related tasks (or domains) to improve performance on a test task. Inspired by causal methodology, we relax the usual covariate shift assumption and assume that it holds true for a subset of predictor variables: the conditional distribution of the target variable given this subset of predictors is invariant over all tasks. We show how this assumption can be motivated from ideas in the field of causality. We focus on the problem of Domain Generalization, in which no examples from the test task are observed. We prove that in an adversarial setting using this subset for prediction is optimal in Domain Generalization; we further provide examples, in which the tasks are sufficiently diverse and the estimator therefore outperforms pooling the data, even on average. If examples from the test task are available, we also provide a method to transfer knowledge from the training tasks and exploit all available features for prediction. However, we provide no guarantees for this method. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

研究动机与目标

• 在缺乏测试数据的情况下，通过识别在所有域中保持不变的预测因子子集，解决域泛化问题。
• 通过仅假设部分预测因子保持不变，放宽标准的协变量偏移假设。
• 基于因果推断原理，为该方法提供理论依据。
• 开发一种实用算法，自动识别不变预测因子子集。
• 在合成数据和真实世界基因删除数据上评估性能，结果表明该方法在泛化能力上优于传统数据池化策略。

提出的方法

• 该方法假设目标变量给定预测因子子集的条件分布在所有域中保持不变，其动机源于因果结构假设。
• 将域泛化问题形式化为一个优化问题，通过最小化跨域的最坏情况风险来选择不变预测因子子集。
• 采用对抗训练以强制实现不变性，使预测器对分布偏移具有鲁棒性。
• 提出一种实用算法，通过不变性约束的可微分松弛，自动推断不变子集。
• 当存在测试数据时，该方法可从训练任务中迁移知识，并使用所有特征进行预测，尽管未提供理论保证。
• 该方法已实现并发布开源代码，便于在合成数据和生物数据集上进行复现与评估。

实验结果

研究问题

• RQ1 能否通过识别在所有域中保持不变的预测因子子集，利用因果框架提升域泛化性能？
• RQ2 在对抗性域泛化设置中，仅使用不变预测因子子集是否为最优策略？
• RQ3 当域足够多样化时，所提方法是否优于简单数据池化方法？
• RQ4 在实际应用中，如何从数据中自动识别不变预测因子子集？
• RQ5 当存在测试数据且使用所有特征进行预测时，该方法的性能增益如何？

主要发现

• 该方法通过仅依赖不变预测因子子集，在对抗性域泛化中实现了最优性能。
• 在域差异较大的设置中，该方法在平均性能上优于数据池化方法，尽管后者通常被认为是最优的。
• 自动推断方法在合成数据集上成功识别出正确的不变预测因子子集。
• 在基因删除数据集上，该方法表现出优于标准域泛化基线的泛化能力。
• 当测试数据可用时，该方法通过利用所有特征实现了强劲性能，尽管未提供理论保证。
• 开源实现支持复现性，并可在多种基准设置中实现实际应用。