[论文解读] Machine learning in policy evaluation: new tools for causal inference

Noémi Kreif, Karla Díaz-Ordaz|arXiv (Cornell University)|Mar 1, 2019

Advanced Causal Inference Techniques被引用 9

一句话总结

本文引入了机器学习（ML）技术用于政策评估中的因果推断，重点在于在无混淆性和正性条件下估计平均处理效应（ATE）。研究表明，通过双重稳健估计量、Super Learner集成方法以及干扰参数估计，ML能够提升模型灵活性，减少因模型误设导致的偏差，并增强使用印度尼西亚真实卫生政策数据进行处理效应估计的透明度。

ABSTRACT

While machine learning (ML) methods have received a lot of attention in recent years, these methods are primarily for prediction. Empirical researchers conducting policy evaluations are, on the other hand, pre-occupied with causal problems, trying to answer counterfactual questions: what would have happened in the absence of a policy? Because these counterfactuals can never be directly observed (described as the "fundamental problem of causal inference") prediction tools from the ML literature cannot be readily used for causal inference. In the last decade, major innovations have taken place incorporating supervised ML tools into estimators for causal parameters such as the average treatment effect (ATE). This holds the promise of attenuating model misspecification issues, and increasing of transparency in model selection. One particularly mature strand of the literature include approaches that incorporate supervised ML approaches in the estimation of the ATE of a binary treatment, under the extit{unconfoundedness} and positivity assumptions (also known as exchangeability and overlap assumptions). This article reviews popular supervised machine learning algorithms, including the Super Learner. Then, some specific uses of machine learning for treatment effect estimation are introduced and illustrated, namely (1) to create balance among treated and control groups, (2) to estimate so-called nuisance models (e.g. the propensity score, or conditional expectations of the outcome) in semi-parametric estimators that target causal parameters (e.g. targeted maximum likelihood estimation or the double ML estimator), and (3) the use of machine learning for variable selection in situations with a high number of covariates.

研究动机与目标

• 解决因果推断中的根本挑战：在政策评估中存在未观测到的反事实结果。
• 克服传统以预测为导向的ML方法的局限性，通过在无混淆性条件下适应ML用于因果估计。
• 通过整合数据自适应的ML方法，提升处理效应估计的透明度并减少对模型的依赖。
• 展示ML工具在半参数估计量（如目标最大似然估计、双重ML）中用于ATE估计的实际实现方法。
• 说明在具有大量协变量的高维设置中（在卫生与社会政策的大数据中常见），ML的实用性。

提出的方法

• 使用监督式ML算法，包括lasso、基于树的方法（如随机森林）以及通过Super Learner实现的集成学习，以估计干扰参数。
• 应用ML来估计双重稳健估计量中的倾向得分和潜在结果，结合结果回归模型与倾向得分模型。
• 采用目标最大似然估计（TMLE）和双重机器学习（DML），即使在使用ML方法估计干扰参数时，也能保持根-n一致性与有效的推断。
• 使用交叉验证和基于损失的Super Learner，将多种ML算法整合为一个单一的最优预测模型。
• 应用高维ML中的变量选择技术（如lasso）以处理具有大量协变量的数据集（d >> n）。
• 通过Super Learner实现半自动化模型选择，以减少对主观模型选择的依赖并提高稳健性。

实验结果

研究问题

• RQ1 如何将机器学习方法调整用于在观察性研究中估计因果效应（如平均处理效应，ATE）？
• RQ2 ML在双重稳健估计量中如何改进干扰参数（如倾向得分、结果回归）的估计？
• RQ3 基于ML的变量选择能否在具有大量协变量的高维设置中提升因果估计量的性能？
• RQ4 使用Super Learner等集成ML方法如何提升政策评估中的透明度并减少对模型的依赖？
• RQ5 将ML应用于现实世界政策评估（如印度尼西亚全国健康保险计划）具有哪些实际影响？

主要发现

• 当集成于双重稳健估计量中时，机器学习方法（尤其是）显著降低了因模型误设导致的ATE估计偏差。
• Super Learner集成方法通过结合各模型优势，优于单一ML模型，从而实现更准确、更稳定的干扰参数估计。
• 使用ML拟合的双重机器学习（DML）和目标最大似然估计（TMLE）即使在干扰模型通过灵活的ML方法估计时，仍能保持根-n一致性与有效的推断。
• 在高维设置中（d >> n），lasso及其他正则化ML方法可实现有效的变量选择并提升估计效率。
• 基于ML的方法通过用数据驱动的交叉验证模型平均替代主观选择，提升了模型选择的透明度。
• 在印度尼西亚健康保险计划中的应用表明，ML增强的因果推断在现实世界政策评估情境中是可行且有效的。