[论文解读] Intact-VAE: Estimating Treatment Effects under Unobserved Confounding

Pengzhou Wu, Kenji Fukumizu|arXiv (Cornell University)|Jan 17, 2021

Advanced Causal Inference Techniques参考文献 55被引用 5

一句话总结

Intact-VAE 提出了一种新型变分自编码器框架，通过将混杂因素建模为潜在变量，在未观测到混杂因素的情况下识别并估计个体水平的处理效应。借助可识别性理论和一种新的 B*-score 概念，该方法在无需恢复真实混杂因素或得分分布的情况下，实现了具平衡表示的一致性估计，在半真实数据集上优于最先进方法。

ABSTRACT

NOTE: This preprint has a flawed theoretical formulation. Please avoid it and refer to the ICLR22 publication https://openreview.net/forum?id=q7n2RngwOM. Also, arXiv:2109.15062 contains some new ideas on unobserved Confounding. As an important problem of causal inference, we discuss the identification and estimation of treatment effects under unobserved confounding. Representing the confounder as a latent variable, we propose Intact-VAE, a new variant of variational autoencoder (VAE), motivated by the prognostic score that is sufficient for identifying treatment effects. We theoretically show that, under certain settings, treatment effects are identified by our model, and further, based on the identifiability of our model (i.e., determinacy of representation), our VAE is a consistent estimator with representation balanced for treatment groups. Experiments on (semi-)synthetic datasets show state-of-the-art performance under diverse settings.

研究动机与目标

• 解决在未观测混杂因素导致标准因果推断方法产生偏差时估计处理效应的挑战。
• 开发一种表示学习框架，识别处理效应而无需恢复真实混杂因素或预后评分。
• 通过一种新型可识别变分自编码器架构，确保处理组间表示的平衡性。
• 在较弱结构假设下，建立处理效应估计的理论可识别性和一致性。
• 在多样化的半真实设置中，通过实证验证其相对于最先进方法的性能。

提出的方法

• 提出 Intact-VAE，一种变分自编码器的变体，将未观测混杂因素作为表示学习框架中的潜在变量进行建模。
• 采用依赖于处理状态的条件先验，实现对处理组和对照组潜在表示的独立建模。
• 使用一种新的理论构造——B*-score，以在不恢复真实混杂因素或得分分布的情况下，建立处理效应的可识别性。
• 应用非线性 ICA（如 iVAE）中的可识别性理论，确保表示函数的唯一且一致恢复。
• 对解码器和编码器施加结构约束，以确保处理组间表示的平衡性，从而促进估计的一致性。
• 使用全批量梯度下降进行端到端训练，结合 Dropout 和梯度掩码技术处理未选中的数据行。

实验结果

研究问题

• RQ1 在未观测混杂因素下，是否可以在不恢复真实混杂因素或得分分布的情况下，实现处理效应的一致性估计？
• RQ2 所提出的 Intact-VAE 模型是否在保持可识别性的同时，实现了处理组间表示的平衡性？
• RQ3 B*-score 在存在未观测混杂因素的情况下，如何促进处理效应的理论可识别性？
• RQ4 在代理变量和结果变量噪声水平不同的半真实设置中，Intact-VAE 相较于现有最先进方法的性能优势有多大？
• RQ5 该模型在具有复杂非线性关系和未观测混杂因素的真实世界数据上是否具备泛化能力？

主要发现

• Intact-VAE 在存在未观测混杂因素的多样化半真实数据集中，实现了个体处理效应（CATE）估计的最先进性能。
• 该模型通过理论分析和实证验证，展示了具平衡表示的一致性估计。
• 实验表明，即使在高代理变量噪声（如入职日期噪声高达 0.699）和结果变量噪声下，该方法在 ATE 估计中仍保持低误差，性能与最佳基线相当。
• 如图 7–10 所示，恢复的潜在表示与未观测混杂因素下的真实潜在结构高度对齐。
• 当条件先验依赖于处理状态时，模型性能依然稳健，证实了理论预测中 t=0 和 t=1 时具有不同变换的结论。
• 在标准方法因未观测混杂因素而失效的场景中，该方法优于现有方法，尤其在缺乏可观测混杂因素或工具变量的情况下表现更优。