[论文解读] A Critical Look at the Consistency of Causal Estimation With Deep Latent Variable Models

Severi Rissanen, Pekka Marttinen|arXiv (Cornell University)|Feb 12, 2021

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文批判性地评估了使用深度隐变量模型进行因果效应估计的一致性，重点关注因果效应变分自编码器（CEVAE）。尽管实证结果表现良好，但该研究表明，当模型设定错误或数据分布复杂时，CEVAE无法产生一致的因果估计，揭示了在缺乏强假设的前提下依赖此类模型进行可靠因果推断的根本局限性。

ABSTRACT

Using deep latent variable models in causal inference has attracted considerable interest recently, but an essential open question is their ability to yield consistent causal estimates. While they have demonstrated promising results and theory exists on some simple model formulations, we also know that causal effects are not even identifiable in general with latent variables. We investigate this gap between theory and empirical results with analytical considerations and extensive experiments under multiple synthetic and real-world data sets, using the causal effect variational autoencoder (CEVAE) as a case study. While CEVAE seems to work reliably under some simple scenarios, it does not estimate the causal effect correctly with a misspecified latent variable or a complex data distribution, as opposed to its original motivation. Hence, our results show that more attention should be paid to ensuring the correctness of causal estimates with deep latent variable models.

研究动机与目标

• 调查像CEVAE这样的深度隐变量模型在存在未观测混杂因素的情况下是否能一致地估计因果效应。
• 识别CEVAE能够产生可靠因果估计与发生失败的条件。
• 弥合深度隐变量模型在因果推断中实证成功与理论一致性之间的差距。
• 评估CEVAE在不同数据生成过程下的合成数据集和真实世界数据集中的鲁棒性。

提出的方法

• 本研究以因果效应变分自编码器（CEVAE）为案例研究，该模型在标准VAE基础上引入了包含潜在混杂因子z和代理变量x的因果结构。
• CEVAE将联合分布建模为p(x,t,y|z) = p(x|z)p(t|z)p(y|z,t)，通过图1b中的因果图强制条件独立性。
• 模型使用变分下界（ELBO）进行训练，其中包含x、t和y的重构项，以及对先验p(z)的KL散度惩罚项。
• 通过调整公式估计因果效应p(y|do(t))：p(y|do(t)) ≈ ∫ pθ(y|z,t)p(z)dz，利用学习到的参数进行近似。
• 在具有线性高斯和二值数据生成过程的合成数据上，以及真实世界的Twins数据集上进行了大量实验。
• 每个数据集均执行多次训练以评估收敛性、稳定性，以及最终损失与估计准确性的关系。

实验结果

研究问题

• RQ1 随着样本量增加，CEVAE在何种条件下能产生一致的因果效应估计？
• RQ2 为何在某些数据生成过程中，即使样本量很大，CEVAE也无法收敛到真实的因果效应？
• RQ3 最终训练损失在多大程度上可作为因果估计模型性能的可靠指标？
• RQ4 模型设定错误或复杂数据分布在多大程度上影响CEVAE因果估计的可靠性？
• RQ5 与解析方法和更简单的模型相比，CEVAE的估计在准确性和一致性方面表现如何？

主要发现

• 即使在50,000个样本下，CEVAE在Twins数据集中仍无法收敛到真实的因果效应，表明其在复杂真实世界数据中缺乏一致性。
• 在相同数据集上的多次训练运行产生了广泛差异的因果估计，表明模型可能陷入不同的局部最优解。
• 最终ELBO损失较低的模型并不一定产生更好的因果估计，这削弱了将损失作为模型选择标准的可靠性。
• 在线性高斯设定下，CEVAE随样本量增加而逐步改善，但其估计仍不如解析方法准确。
• 在二值数据设定下，CEVAE始终估计出错误的因果效应，即使在数据足够多时解析方法能准确估计。
• 本研究识别出CEVAE中存在‘有效模型不可识别性’，即多个合理的模型在训练损失相近的情况下却产生截然不同的因果估计。