[论文解读] Stochastic Tree Ensembles for Estimating Heterogeneous Effects

Nikolay Krantsevich, Jingyu He+1 more|arXiv (Cornell University)|Sep 15, 2022

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文提出了一种新颖的随机树集成算法用于贝叶斯因果森林（BCF），相较于传统的吉布斯抽样，该方法显著提升了后验探索与估计效率。该方法实现了更快的收敛速度，并在存在强烈混淆因素的情境下，对异质性处理效应提供了更精确的区间估计，其有效性通过模拟实验和对学生教育数据的实证分析得到验证。

ABSTRACT

Determining subgroups that respond especially well (or poorly) to specific interventions (medical or policy) requires new supervised learning methods tailored specifically for causal inference. Bayesian Causal Forest (BCF) is a recent method that has been documented to perform well on data generating processes with strong confounding of the sort that is plausible in many applications. This paper develops a novel algorithm for fitting the BCF model, which is more efficient than the previously available Gibbs sampler. The new algorithm can be used to initialize independent chains of the existing Gibbs sampler leading to better posterior exploration and coverage of the associated interval estimates in simulation studies. The new algorithm is compared to related approaches via simulation studies as well as an empirical analysis.

研究动机与目标

• 为解决贝叶斯因果森林（BCF）模型中吉布斯抽样存在的收敛缓慢与后验探索能力差的问题。
• 开发一种更高效的BCF拟合算法，使其在保持准确性的前提下可扩展至更大规模数据集。
• 在存在强烈混淆因素的情况下，改进条件平均处理效应（CATE）的后验区间估计。
• 通过增强后验探索与可信区间覆盖能力，实现更优的子群分析。
• 为现有吉布斯抽样器提供一种热启动初始化方法，以提升收敛速度与估计质量。

提出的方法

• 提出一种受贝叶斯更新启发的随机树生长算法，替代吉布斯抽样中缓慢的随机游走梅特罗波利斯-哈斯廷斯算法。
• 在每次MCMC迭代中，利用一个随机过程递归地重新生成每棵树，其过程由切点候选值与后验概率计算引导。
• 通过深度相关的分裂概率对树结构施加先验分布：$\alpha(1+d)^{-\beta}$，其中$\alpha \in (0,1)$，$\beta \geq 0$。
• 为叶节点参数分配独立的正态先验：$m_{lb} \sim \mathcal{N}(0, \nu)$。
• 将新算法作为现有吉布斯抽样器的热启动初始化方法，以提升后验探索能力。
• 采用基于切点候选值$c_{jk}$的递归划分方法，依据分裂的后验概率引导树的生长。

实验结果

研究问题

• RQ1 随机树生长算法是否能显著提升贝叶斯因果森林模型的效率与收敛性？
• RQ2 与传统吉布斯抽样相比，该新算法是否能提供更准确、更可靠的CATE后验区间估计？
• RQ3 热启动初始化方法是否能提升后验覆盖度并减少异质性处理效应估计中的偏差？
• RQ4 在模拟数据与真实世界数据上，该方法与BART、ps-BART及其他因果推断模型相比表现如何？
• RQ5 该新算法在存在强烈混淆因素的大规模观察性数据集中，能否实现可扩展的推断？

主要发现

• 与标准吉布斯抽样相比，所提出的算法在BCF模型中显著提升了后验探索能力与收敛速度。
• 热启动BCF生成的后验可信区间比标准BCF更长，表明其覆盖能力更强，且对不确定性的低估程度更低。
• 在模拟实验中，热启动BCF展现出更优的区间估计能力与对真实处理效应更可靠的覆盖度。
• 对学生教育数据的实证分析表明，父母教育水平较低且缺乏家庭支持的学生从校内教学中受益最多，其子群平均处理效应（ATE）为1.3分。
• 子群2（父母教育水平高且无家庭支持）的ATE为-0.46分，两子群间差异的95%后验可信区间为(-0.2, 4.7)。
• 子群效应差异的后验分布大多为正值，表明存在强有力证据表明处理效应在不同子群间存在显著差异。