[论文解读] Causal Inference using Gaussian Processes with Structured Latent Confounders

Sam Witty, Kenta Takatsu+2 more|arXiv (Cornell University)|Jul 14, 2020

Advanced Causal Inference Techniques被引用 13

一句话总结

该论文提出高斯过程结构潜在混淆因子（GP-SLC），一种贝叶斯非参数方法，通过使用高斯过程先验对对象级潜在混淆因子进行建模，以改善分层数据中的因果效应估计。通过利用同一对象内各实例共享的混淆因子，GP-SLC 在存在未观测异质性的稀疏观察设置下，相较于标准方法，实现了更精确的个体处理效应估计。

ABSTRACT

Latent confounders---unobserved variables that influence both treatment and outcome---can bias estimates of causal effects. In some cases, these confounders are shared across observations, e.g. all students taking a course are influenced by the course's difficulty in addition to any educational interventions they receive individually. This paper shows how to semiparametrically model latent confounders that have this structure and thereby improve estimates of causal effects. The key innovations are a hierarchical Bayesian model, Gaussian processes with structured latent confounders (GP-SLC), and a Monte Carlo inference algorithm for this model based on elliptical slice sampling. GP-SLC provides principled Bayesian uncertainty estimates of individual treatment effect with minimal assumptions about the functional forms relating confounders, covariates, treatment, and outcome. Finally, this paper shows GP-SLC is competitive with or more accurate than widely used causal inference techniques on three benchmark datasets, including the Infant Health and Development Program and a dataset showing the effect of changing temperatures on state-wide energy consumption across New England.

研究动机与目标

• 为解决由影响同一对象内多个实例的未观测混淆因子引起的因果推断偏差，例如同一学校的学生或受相似气候条件影响的地区。
• 开发一种灵活的半参数贝叶斯方法，对混淆因子、协变量、处理和结果之间的函数形式假设最少。
• 通过使用高斯过程对结构化潜在混淆因子进行建模，改进个体处理效应估计，实现合理的不确定性量化。
• 证明 GP-SLC 在具有现实混淆结构的基准数据集上优于广泛使用的因果推断技术。
• 提供一种基于椭圆切片采样法的可扩展推理框架，支持不确定性感知的反事实预测。

提出的方法

• GP-SLC 使用分层结构因果模型，其中对象级潜在混淆因子（u）影响实例级协变量（x）、处理（t）和结果（y）。
• 在将混淆因子和协变量映射到处理和结果的函数上施加高斯过程先验，以非参数方式建模复杂且未知的关系。
• 该模型假设在给定混淆因子、协变量和处理的情况下，结果条件独立，且具有加性高斯噪声。
• 采用基于椭圆切片采样的马尔可夫链蒙特卡洛推理算法，联合推断潜在混淆因子和模型超参数，实现完整的后验推断。
• 通过处理、协变量和推断出的混淆因子构建结果核协方差矩阵，捕捉真实结果与反事实结果之间的依赖关系。
• 该方法自然地考虑了反事实结果之间的协方差，并支持个体处理效应估计中的不确定性量化。

实验结果

研究问题

• RQ1 对同一对象内多个实例共享的结构化潜在混淆因子进行建模，是否能提高观察数据中个体处理效应估计的准确性？
• RQ2 当存在未观测混淆因子但其在组内结构化时，GP-SLC 相较于标准因果推断方法表现如何？
• RQ3 与假设所有实例均无混淆的模型相比，潜在混淆因子的分层结构在多大程度上减少了因果估计的偏差？
• RQ4 当数据稀疏或存在噪声时，GP-SLC 在反事实结果不确定性量化方面表现如何？
• RQ5 GP-SLC 是否能有效建模连续和二值处理，同时在弱参数假设下保持灵活性和鲁棒性？

主要发现

• GP-SLC 在三个基准数据集上优于广泛使用的因果推断技术，包括婴儿健康与发展计划数据集和新英格兰能源消耗数据集。
• 在婴儿健康与发展计划数据集中，GP-SLC 在个体处理效应估计中实现了比竞争方法更低的均方误差，证明了其更高的准确性。
• 在能源消耗数据集中，当存在区域经济和气候因素混淆时，GP-SLC 更准确地估计了温度变化对全州电力使用的影响。
• 该模型为个体处理效应生成了合理的贝叶斯不确定性估计，数据较少或混淆程度较高的地区不确定性更高。
• 椭圆切片采样法的使用实现了对潜在混淆因子和超参数的高效后验推断，支持在高维设置下的可扩展和鲁棒估计。
• GP-SLC 通过共享混淆因子捕捉真实结果与反事实结果之间的协方差，显著提升了反事实预测性能，即使在处理和协变量在各实例间相似的情况下亦然。