[论文解读] Targeted VAE: Structured Inference and Targeted Learning for Causal Parameter Estimation

Matthew J. Vowels, Necati Cihan Camgöz+1 more|arXiv (Cornell University)|May 4, 2021

Advanced Causal Inference Techniques被引用 9

一句话总结

本文提出了目标变分自编码器（TVAE），一种新颖的深度潜在变量模型，通过整合结构化推理与目标学习，提升从观测数据中估计因果参数的性能。通过解决处理分配异质性与反事实不确定性问题，TVAE 在因果推断任务中达到最先进性能。

ABSTRACT

Undertaking causal inference with observational data is extremely useful across a wide range of domains including the development of medical treatments, advertisements and marketing, and policy making. There are two main challenges associated with undertaking causal inference using observational data: treatment assignment heterogeneity (i.e., differences between the treated and untreated groups), and an absence of counterfactual data (i.e., not knowing what would have happened if an individual who did get treatment, were instead to have not been treated). We address these two challenges by combining structured inference and targeted learning. To our knowledge, Targeted Variational AutoEncoder (TVAE) is the first method to incorporate targeted learning into deep latent variable models. Results demonstrate competitive and state of the art performance.

研究动机与目标

• 解决观测因果推断中处理分配异质性的挑战。
• 克服缺乏反事实数据的问题，该问题导致潜在结果无法直接观测。
• 开发一种深度生成模型，通过结构化推理提升因果参数估计性能。
• 将目标学习整合到变分自编码器中，实现更高效、更精确的因果估计。
• 在真实世界观测数据集上实现因果推断的最先进性能。

提出的方法

• 该方法结合变分推理与目标学习，在深度潜在变量框架中优化因果参数估计。
• 采用结构化推理机制，对观测结果与反事实结果的联合分布进行建模。
• 模型使用基于神经网络的推理网络，近似潜在变量的后验分布。
• 将目标学习嵌入变分目标中，使优化聚焦于感兴趣的因果参数。
• 通过条件化处理分配与协变量，显式建模潜在结果。
• 训练目标设计为通过高效的得分更新，最小化目标因果参数的估计偏差。

实验结果

研究问题

• RQ1 如何增强深度潜在变量模型，以更优地从观测数据中估计因果参数？
• RQ2 结构化推理在多大程度上可减少因处理分配异质性导致的偏差？
• RQ3 目标学习能否有效整合到变分自编码器中，以提升因果估计性能？
• RQ4 在真实世界因果推断任务中，该方法在准确性和鲁棒性方面与现有方法相比表现如何？
• RQ5 在因果推断中，将反事实建模整合到深度生成模型会产生何种影响？

主要发现

• 目标变分自编码器（TVAE）在观测数据的因果参数估计中实现了具有竞争力且最先进性能。
• 通过将目标学习整合到变分自编码器中，TVAE 相较于标准 VAE 显著降低了因果效应估计的偏差。
• 该方法通过潜在结果的结构化建模，有效处理了处理分配异质性问题。
• TVAE 通过聚焦于目标因果参数的优化，提升了估计精度。
• 该框架是首个成功将目标学习与深度潜在变量模型结合用于因果推断的模型。
• 实证结果表明，TVAE 在合成数据集与真实世界观测数据集上均优于现有基线方法。