[论文解读] Causal Effect Inference with Deep Latent-Variable Models

Christos Louizos, Uri Shalit+4 more|arXiv (Cornell University)|May 24, 2017

Advanced Causal Inference Techniques参考文献 39被引用 293

一句话总结

CEVAE 通过变分自编码器学习潜在混淆变量，以从观测数据估计个体和总体因果效应，相较于现有方法对隐藏混淆变量的代理变量处理更鲁棒。

ABSTRACT

Learning individual-level causal effects from observational data, such as inferring the most effective medication for a specific patient, is a problem of growing importance for policy makers. The most important aspect of inferring causal effects from observational data is the handling of confounders, factors that affect both an intervention and its outcome. A carefully designed observational study attempts to measure all important confounders. However, even if one does not have direct access to all confounders, there may exist noisy and uncertain measurement of proxies for confounders. We build on recent advances in latent variable modeling to simultaneously estimate the unknown latent space summarizing the confounders and the causal effect. Our method is based on Variational Autoencoders (VAE) which follow the causal structure of inference with proxies. We show our method is significantly more robust than existing methods, and matches the state-of-the-art on previous benchmarks focused on individual treatment effects.

研究动机与目标

• 动机：在混淆变量未观测或为嘈杂代理时推断个体层面的因果效应。
• 目标：在潜在混淆模型下，使用深度潜变量方法估计 ITE/CATE 和 ATE。
• 目标：相较于现有基准，在对嘈杂代理变量和隐藏混淆的鲁棒性方面有所提升。
• 开发一种可扩展的方法，能够利用多个代理变量来识别潜在混淆变量。

提出的方法

• 用表示隐藏混淆变量的潜在变量 Z 对数据进行建模。
• 使用变分自编码器从 (X,t,y) 近似 p(Z,X,t,y)。
• 用神经网络定义 p(z)=N(0,I) 且 p(x|z)、p(t|z)、p(y|t,z)，其中 t 视为二元变量。
• 通过一个带有按处理分割的 TARnet 结构的推断网络来推断 q(z|x,t,y)。
• 在新样本上对 t 和 y 进行辅助预测目标来优化变分下界 L。
• 提供辅助分布 q(t|x) 和 q(y|x,t) 以在样本外推断时预测 t 和 y。

实验结果

研究问题

• RQ1 潜在变量 VAE 能否恢复联合分布 p(Z,X,t,y) 以从观测数据中识别因果效应？
• RQ2 将隐藏混淆变量建模为潜在变量在代理变量嘈杂时是否能改善 ITE/CATE 和 ATE 的估计？
• RQ3 在 IHDP、Jobs 数据集以及合成数据和 Twins 数据上的表现相对于最先进基准如何？
• RQ4 CEVAE 在估计反事实和 ATE 时对代理变量噪声增加是否鲁棒？
• RQ5 该方法是否能够在统一的 VAE 框架内同时处理二元和连续结局？

主要发现

• CEVAE 在 IHDP 和 Jobs 基准上与最先进的方法相比具有竞争力。
• CEVAE 在合成 toy 数据中对嘈杂代理和隐藏混淆表现出鲁棒性。
• 在 Twins 数据集上，当代理噪声较高时，使用潜在空间的 CEVAE 相较于直接依赖代理变量的方法表现更优。
• 该模型采用 TARnet 启发的生成结构和分块启用的推断网络来捕捉处理特异性效应。
• 辅助预测项使样本外推断中的处理和结局预测更可靠，用于反事实估计。