[论文解读] Domain adaptation under structural causal models

Yuansi Chen, Peter Bühlmann|arXiv (Cornell University)|Oct 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 73被引用 14

一句话总结

本文提出一种结构因果模型（SCM）框架，用于理论分析领域自适应（DA）方法，识别实现低目标误差的关键假设。提出CIRM这一新型DA方法，在目标域中协变量与标签均受扰动时，其性能优于现有方法，具备理论保证与实证验证。

ABSTRACT

Domain adaptation (DA) arises as an important problem in statistical machine learning when the source data used to train a model is different from the target data used to test the model. Recent advances in DA have mainly been application-driven and have largely relied on the idea of a common subspace for source and target data. To understand the empirical successes and failures of DA methods, we propose a theoretical framework via structural causal models that enables analysis and comparison of the prediction performance of DA methods. This framework also allows us to itemize the assumptions needed for the DA methods to have a low target error. Additionally, with insights from our theory, we propose a new DA method called CIRM that outperforms existing DA methods when both the covariates and label distributions are perturbed in the target data. We complement the theoretical analysis with extensive simulations to show the necessity of the devised assumptions. Reproducible synthetic and real data experiments are also provided to illustrate the strengths and weaknesses of DA methods when parts of the assumptions in our theory are violated.

研究动机与目标

• 解决领域自适应（DA）方法在现实应用中经验成功与失败背后缺乏理论理解的问题。
• 形式化精确的假设，以确保DA方法实现低目标误差，从而实现不同方法间的系统性比较。
• 研究因果结构（因果与逆因果）以及数据扰动位置对DA性能的影响。
• 开发一种新DA方法CIRM，利用SCM下的条件不变性与域不变性原则，提升鲁棒性。
• 为在关键假设违反情况下的DA方法评估，提供统一的理论与实证框架。

提出的方法

• 在结构因果模型（SCM）框架下构建领域自适应，以建模源域与目标域的数据生成过程。
• 引入带加性噪声的线性SCM，分析预测误差并推导DA方法成功所需的条件。
• 提出CIRM（条件不变表示法与不变性）作为新型DA方法，强制表示在不同域间保持条件不变性。
• 通过带两个关键约束的约束二次优化问题推导CIRM估计器：均值偏移不变性与预测系数归一化。
• 利用投影矩阵与正交基补全（通过Gram-Schmidt方法）求解线性约束下的优化问题。
• 通过分析不同扰动情景下目标总体风险，建立CIRM及相关方法（如DIP、RIIRMI）的理论风险边界。

实验结果

研究问题

• RQ1 实现DA方法低目标误差所需的数据生成过程假设是什么？
• RQ2 预测任务的因果方向（因果与逆因果）如何影响DA方法的性能？
• RQ3 数据扰动位置（协变量与标签上）是否影响域不变表示的有效性？
• RQ4 能否构建统一的理论框架，以比较与对比DIP与CIP等现有DA方法？
• RQ5 在联合协变量与标签偏移设置下，所提出的CIRM方法在何种条件下优于现有DA方法？

主要发现

• 所提出的SCM框架能够精确识别实现DA低目标误差所需的关键假设，包括条件均值不变性与分布偏移。
• 当目标域中协变量与标签均受扰动时，CIRM实现的目标总体风险低于DIP及其他基线方法。
• 理论分析表明，CIRM的风险与RIIRMI等价，但CIRM通过结合不变性与归一化约束，具备更鲁棒的约束结构。
• 模拟实验表明，违反不变性假设将导致性能显著下降，验证了理论条件的必要性。
• 在合成与真实数据上的可复现实验确认，CIRM在联合分布偏移下优于现有方法，尤其在逆因果与混合因果设置中表现更优。
• 该框架揭示，域不变投影（DIP）在逆因果设置下失效，而CIRM由于其条件不变性约束，仍能保持低误差。