[论文解读] Estimation and Inference of Heterogeneous Treatment Effects using Random Forests

Stefan Wager, Susan Athey|arXiv (Cornell University)|Oct 14, 2015

Advanced Causal Inference Techniques被引用 32

一句话总结

本文提出因果森林（causal forests），一种用于在高维复杂数据中估计异质处理效应的非参数随机森林方法，支持有效的渐近推断。通过使用诚实（honest）的子样本树和一种新颖的渐近理论，该方法实现了逐点一致性以及渐近正态、均值为零的抽样分布，即使在存在复杂交互作用的高维设置下，也能生成有效的置信区间。

ABSTRACT

Many scientific and engineering challenges -- ranging from personalized medicine to customized marketing recommendations -- require an understanding of treatment effect heterogeneity. In this paper, we develop a non-parametric causal forest for estimating heterogeneous treatment effects that extends Breiman's widely used random forest algorithm. In the potential outcomes framework with unconfoundedness, we show that causal forests are pointwise consistent for the true treatment effect, and have an asymptotically Gaussian and centered sampling distribution. We also discuss a practical method for constructing asymptotic confidence intervals for the true treatment effect that are centered at the causal forest estimates. Our theoretical results rely on a generic Gaussian theory for a large family of random forest algorithms. To our knowledge, this is the first set of results that allows any type of random forest, including classification and regression forests, to be used for provably valid statistical inference. In experiments, we find causal forests to be substantially more powerful than classical methods based on nearest-neighbor matching, especially in the presence of irrelevant covariates.

研究动机与目标

• 开发一种在经典方法失效的高维、复杂数据设置下估计异质处理效应的方法。
• 为随机森林处理效应估计结果提供理论基础的统计推断框架——具体而言，实现渐近正态性和置信区间。
• 解决随机森林在因果推断中缺乏渐近理论的问题，该问题曾阻碍其在假设检验和不确定性量化中的应用。
• 通过引入‘诚实’树和子采样，将随机森林框架扩展至因果推断，确保偏差减少和有效推断。
• 证明因果森林在均方误差和覆盖率方面优于经典方法（如最近邻匹配），尤其是在协变量数量较多时。

提出的方法

• 该方法使用由‘诚实’回归树构成的因果森林，其中训练和预测在独立的子样本上进行，以减少偏差。
• 通过子采样生成多样化的树，提高稳定性并减少高维特征空间中的过拟合。
• 算法在每棵树的叶节点处估计处理效应，并通过聚合多棵树的预测结果，形成对异质处理效应的最终估计。
• 基于随机森林的通用高斯理论，建立渐近正态性，依赖于树的诚实性与弱依赖性等条件。
• 使用微小自助法（infinitesimal jackknife）估计渐近方差，为推断提供一致的标准误。
• 该方法对无关协变量具有鲁棒性，并能通过学习最能预测处理效应异质性的特征，自适应地捕捉复杂高维交互作用。

实验结果

研究问题

• RQ1 能否将基于随机森林的方法调整以实现对异质处理效应的有效统计推断？
• RQ2 在随机森林中使用诚实树和子采样是否能导致处理效应估计的渐近正态且无偏？
• RQ3 在高维协变量下，因果森林在均方误差和覆盖率方面与经典方法（如最近邻匹配）相比表现如何？
• RQ4 能否为随机森林开发一种通用的渐近理论，以支持在回归和分类设置下的有效推断？
• RQ5 数据驱动的特征选择在提升处理效应估计精度和减少偏差方面发挥什么作用？

主要发现

• 在标准正则性条件下，因果森林对真实处理效应实现了逐点一致性，确保随着样本量增加，估计值收敛于真实效应。
• 因果森林估计量的抽样分布是渐近正态且均值为零的，从而支持对处理效应生成有效的置信区间。
• 该方法在均方误差方面显著优于经典最近邻匹配方法，尤其在协变量数量较多或包含无关变量时。
• 微小自助法提供了渐近方差的一致估计，支持实际应用中的可靠推断。
• 即使在中等样本量下，该方法仍能保持置信区间的名义覆盖率，表现出对模型复杂性的稳健性。
• 与标准最近邻方法相比，偏差显著降低，尤其在处理效应斜率较大的区域以及协变量支持范围的边界处。