[论文解读] Estimating Individual Treatment Effect in Observational Data Using Random Forest Methods

Min Lu, Saad Sadiq+2 more|arXiv (Cornell University)|Jan 19, 2017

Advanced Causal Inference Techniques被引用 10

一句话总结

本文提出在随机森林框架内使用反事实合成森林来估计观察数据中的个体处理效应（ITE），以解决混杂因素和选择偏差问题。通过直接建模潜在结果并利用袋外估计，该方法在处理异质性处理效应时表现出高精度，尤其在大样本中，反事实合成森林优于其他基于随机森林的方法，甚至优于BART模型。

ABSTRACT

Estimation of individual treatment effect in observational data is complicated due to the challenges of confounding and selection bias. A useful inferential framework to address this is the counterfactual (potential outcomes) model which takes the hypothetical stance of asking what if an individual had received both treatments. Making use of random forests (RF) within the counterfactual framework we estimate individual treatment effects by directly modeling the response. We find accurate estimation of individual treatment effects is possible even in complex heterogeneous settings but that the type of RF approach plays an important role in accuracy. Methods designed to be adaptive to confounding, when used in parallel with out-of-sample estimation, do best. One method found to be especially promising is counterfactual synthetic forests. We illustrate this new methodology by applying it to a large comparative effectiveness trial, Project Aware, in order to explore the role drug use plays in sexual risk. The analysis reveals important connections between risky behavior, drug usage, and sexual risk.

研究动机与目标

• 解决在受混杂因素和选择偏差影响的观察性研究中估计个体处理效应（ITE）的挑战。
• 开发一种稳健的非参数方法用于ITE估计，以适应处理异质性和复杂的协变量结构。
• 在不同模拟和现实条件下的各种随机森林变体（尤其是反事实合成森林）表现进行评估。
• 在真实世界公共卫生数据集（Project Aware）中展示该方法的实用性，以揭示药物使用、高危行为与性行为风险之间的因果联系。
• 倡导使用袋外估计和适应混杂因素的随机森林方法，以提高因果推断中的准确性和可靠性。

提出的方法

• 采用潜在结果（反事实）框架，将个体处理效应定义为 τ(x) = E[Y(1)|X=x] - E[Y(0)|X=x]，其中 Y(1) 和 Y(0) 分别为在处理和对照条件下的潜在结果。
• 依赖于强可忽略处理分配假设（SITA），即 T ⊥ {Y(0), Y(1)} | X，从而确保 τ(x) 可从观测数据中识别。
• 使用随机森林对每个个体的协变量特征，非参数地估计条件均值结果 E[Y|T=1,X=x] 和 E[Y|T=0,X=x]。
• 提出反事实合成森林，为每类处理组分别构建随机森林，并通过构建合成数据来减少偏差。
• 应用袋外（OOB）估计，通过使用未在同一样本点上训练的树的预测结果，提高估计精度。
• 在不同样本大小和混杂结构下，比较各种随机森林变体的性能，包括普通随机森林、方差阈值随机森林（VT）和合成森林。

实验结果

研究问题

• RQ1 在具有复杂、异质性处理效应的观察性数据中，随机森林方法能否准确估计个体处理效应？
• RQ2 随机森林变体的选择——尤其是针对混杂因素进行调整的变体——如何影响ITE估计的准确性？
• RQ3 袋外估计是否能提高观察性研究中ITE估计的可靠性和精确度？
• RQ4 在现实数据条件下，反事实合成森林与BART等先进方法相比，在ITE估计方面表现如何？
• RQ5 从真实世界数据（如Project Aware）的ITE估计中，可以得出关于药物使用在性行为风险行为中作用的哪些因果洞见？

主要发现

• 在所有模拟场景中，反事实合成森林在估计个体处理效应方面始终表现出最高精度，尤其在大样本中。
• 在大样本中，该方法甚至优于高度自适应的BART模型，展现出更优的偏差减少能力和对混杂因素的适应性。
• 袋外估计显著提高了所有基于随机森林的ITE估计器的精度，通过减少过拟合并提供可靠的样本外预测。
• 明确为每类处理组建模独立回归曲面的随机森林方法——如VT-I和反事实合成森林——相比标准随机森林有显著改进，尤其在强混杂条件下。
• 对Project Aware数据的分析揭示了药物使用、高危行为与性行为风险之间存在显著的因果联系，ITE估计校正了观测到的混杂因素，实现了个性化推断。
• 反事实合成森林通过结合对处理组的独立建模、合成森林构建和OOB估计，有效降低了偏差，兼具计算高效性且对调参不敏感。