[论文解读] Double Machine Learning based Program Evaluation under Unconfoundedness

Michael C. Knaus|Econstor (Econstor)|Mar 6, 2020

Advanced Causal Inference Techniques被引用 4

一句话总结

本文提出归一化的DR-learner（NDR-learner），以在无混淆性假设下，稳定基于双重机器学习（DML）的项目评估中个体化处理效应的估计。通过在逆概率加权中应用个体化归一化，NDR-learner降低了标准DR-learner产生的极端估计值，从而在保持DML在估计平均、异质性和最优处理效应方面灵活性与双重稳健性的同时，提升了有限样本下的稳健性，适用于瑞士积极劳动力市场政策（Swiss Active Labour Market Policy）项目。

ABSTRACT

This paper reviews, applies and extends recently proposed methods based on Double Machine Learning (DML) with a focus on program evaluation under unconfoundedness. DML based methods leverage flexible prediction models to adjust for confounding variables in the estimation of (i) standard average effects, (ii) different forms of heterogeneous effects, and (iii) optimal treatment assignment rules. An evaluation of multiple programs of the Swiss Active Labour Market Policy illustrates how DML based methods enable a comprehensive program evaluation. Motivated by extreme individualised treatment effect estimates of the DR-learner, we propose the normalised DR-learner (NDR-learner) to address this issue. The NDR-learner acknowledges that individualised effect estimates can be stabilised by an individualised normalisation of inverse probability weights.

研究动机与目标

• 解决因果机器学习应用中，基于DR-learner的个体化处理效应估计在有限样本下的不稳定性问题。
• 开发一种通过个体化归一化稳定逆概率权重的方法，以提高估计的可靠性。
• 展示基于DML的方法在现实政策环境中的综合项目评估的实际效用。
• 提供一个统一框架，利用灵活的机器学习模型估计平均效应、异质性效应和最优处理规则。
• 使用DML方法评估瑞士积极劳动力市场政策，并评估个案工作者特征在处理效应变异中的作用。

提出的方法

• NDR-learner在双重稳健得分中对逆概率权重应用个体化归一化，以稳定个体化处理效应估计。
• 该方法基于DR-learner框架，利用机器学习估计潜在结果和处理概率，实现双重稳健估计。
• 该方法利用相同的双重稳健得分估计多个目标参数——平均效应、异质性效应和最优处理规则，实现计算与概念上的协同效应。
• 通过交叉拟合进行估计，以确保有效的推断，使用t检验和OLS在调整后估计因果参数。
• 该方法应用于四个瑞士ALMP项目，使用标准数据集，模型选择与混淆调整通过灵活的机器学习实现。
• 基于NDR-learner输出，使用基于政策学习的程序估计最优处理分配规则。

实验结果

研究问题

• RQ1 DR-learner是否会在有限样本中产生极端的个体化处理效应估计？若是，其不稳定性原因是什么？
• RQ2 对逆概率权重进行个体化归一化是否能提升个体化处理效应估计的稳定性和可靠性？
• RQ3 基于DML的方法与传统计量经济学方法相比，在估计项目评估中的平均效应、异质性效应和最优处理效应方面有何差异？
• RQ4 在瑞士ALMP背景下，个案工作者特征在解释个体化处理效应变异中起什么作用？
• RQ5 在此设置下，经交叉验证的最优处理分配规则与全样本规则在多大程度上一致？

主要发现

• DR-learner产生了极端的个体化处理效应估计，部分值超出理论可能范围，表明存在有限样本不稳定性。
• NDR-learner通过在逆概率权重中应用个体化归一化，成功稳定了个体化处理效应估计，减少了极端值。
• 在分类分析中，个案工作者相关变量对处理效应变异的影响可忽略不计，所有此类系数均位于表格下半部分。
• 通过决策树估计的最优处理分配规则显示，交叉验证政策与全样本政策之间存在中等程度重叠，五变量和十六变量模型的符合率均超过70%。
• DR-learner与NDR-learner的个体化处理效应（IATE）的联合分布与边际分布显示，后者产生了更集中且更合理的效应估计。
• 本研究证实，基于DML的方法可在无混淆性假设下实现对多个项目的全面、计算高效的评估，具备强统计特性，并可在不同估计目标间复用双重稳健得分。