[论文解读] Debiased Bayesian inference for average treatment effects

Kolyan Ray, Botond Szabó|arXiv (Cornell University)|Sep 26, 2019

Advanced Causal Inference Techniques被引用 5

一句话总结

本文提出了一种数据驱动的去偏方法，用于贝叶斯平均处理效应（ATE）推断，通过使用估计的倾向得分来修正任意非参数先验（特别是高斯过程先验）以纠正一阶后验偏差。该方法显著提升了估计精度和不确定性量化能力，使基于GP的推断在合成数据和半合成数据上与最先进方法具有竞争力。

ABSTRACT

Bayesian approaches have become increasingly popular in causal inference problems due to their conceptual simplicity, excellent performance and in-built uncertainty quantification ('posterior credible sets'). We investigate Bayesian inference for average treatment effects from observational data, which is a challenging problem due to the missing counterfactuals and selection bias. Working in the standard potential outcomes framework, we propose a data-driven modification to an arbitrary (nonparametric) prior based on the propensity score that corrects for the first-order posterior bias, thereby improving performance. We illustrate our method for Gaussian process (GP) priors using (semi-)synthetic data. Our experiments demonstrate significant improvement in both estimation accuracy and uncertainty quantification compared to the unmodified GP, rendering our approach highly competitive with the state-of-the-art.

研究动机与目标

• 为解决在使用高斯过程等非参数先验时，贝叶斯ATE估计中持续存在的第一阶后验偏差问题。
• 开发一种通用的、数据驱动的方法，以纠正后验偏差，而无需事先了解真实响应曲面。
• 在存在反事实缺失和选择偏差的观察性因果推断中，提升估计精度和不确定性量化能力（通过可信区间实现）。
• 证明去偏可使标准GP先验在性能上与BART和双重稳健估计器等最先进方法相媲美。
• 表明协变量分布的随机化虽有助于可靠不确定性量化，但并非ATE估计中不确定性量化的必要条件。

提出的方法

• 该方法基于估计的倾向得分，对高斯过程先验的协方差核进行数据驱动的调整。
• 通过考虑处理分配中的选择偏差，该去偏校正使ATE的后验分布围绕真实值集中。
• 该方法对原始先验结构保持无偏，可应用于任何非参数先验，高斯过程先验作为主要示例。
• 通过调整GP先验的均值函数以与估计的倾向得分对齐，实现对后验的有效重新中心化。
• 在半参数Bernstein-von Mises定理下，该方法确保可信区间的95%渐近频率覆盖。
• 通过模拟和半合成数据验证了该方法的性能，与原始GP、BART和双重稳健估计器进行了比较。

实验结果

研究问题

• RQ1 对非参数先验进行数据驱动的修改，能否纠正平均处理效应估计中的一阶后验偏差？
• RQ2 将倾向得分整合到GP先验中，如何提升观察性研究中的估计精度和不确定性量化能力？
• RQ3 所提出的去偏方法是否能使基于GP的贝叶斯推断在性能上与BART和双重稳健估计器等最先进因果推断方法相媲美？
• RQ4 协变量分布随机化对ATE和CATE的不确定性量化有何影响？
• RQ5 该去偏框架能否推广至高斯过程以外的其他非参数先验？

主要发现

• 所提出的去偏GP方法在估计精度和不确定性量化方面显著优于原始GP先验，尤其在高维设置和复杂响应曲面下表现更优。
• 在合成模拟中，原始GP方法在ATE估计中表现出持续存在的偏差，随着样本量增加，后验集中在错误值附近，导致不确定性量化性能恶化。
• 去偏方法实现了接近理想的95%频率覆盖，可信区间的校准性显著优于未经修改的GP先验。
• 在IHDP数据集上，去偏GP在估计精度上优于BART和因果森林，尽管BCF表现最佳；然而，去偏GP提供了最可靠的不确定性量化，具有更高的覆盖概率。
• 协变量分布的随机化改善了ATE的不确定性量化，但并非该方法性能的必要条件，凸显了去偏校正的稳健性。
• 该方法的性能提升源于偏差校正，而非后验方差增加，因为可信区间长度仅略有增加，但覆盖性能却得到改善。