[论文解读] Double/Debiased Machine Learning for Treatment and Causal Parameters

Victor Chernozhukov, Denis Chetverikov+5 more|arXiv (Cornell University)|Jul 30, 2016

Statistical Methods and Inference参考文献 75被引用 49

一句话总结

本文提出了双/去偏机器学习（DML），一种通过使用Neyman正交 estimating equations 和交叉拟合（cross-fitting）来实现高维模型中低维因果参数的根N一致性估计与有效推断的方法。该方法消除了机器学习对干扰参数估计中的偏差，即使在使用Lasso、随机森林或神经网络等灵活机器学习方法时，也能确保渐近正态性与有效的置信区间。

ABSTRACT

Most modern supervised statistical/machine learning (ML) methods are explicitly designed to solve prediction problems very well. Achieving this goal does not imply that these methods automatically deliver good estimators of causal parameters. Examples of such parameters include individual regression coefficients, average treatment effects, average lifts, and demand or supply elasticities. In fact, estimates of such causal parameters obtained via naively plugging ML estimators into estimating equations for such parameters can behave very poorly due to the regularization bias. Fortunately, this regularization bias can be removed by solving auxiliary prediction problems via ML tools. Specifically, we can form an orthogonal score for the target low-dimensional parameter by combining auxiliary and main ML predictions. The score is then used to build a de-biased estimator of the target parameter which typically will converge at the fastest possible 1/root(n) rate and be approximately unbiased and normal, and from which valid confidence intervals for these parameters of interest may be constructed. The resulting method thus could be called a "double ML" method because it relies on estimating primary and auxiliary predictive models. In order to avoid overfitting, our construction also makes use of the K-fold sample splitting, which we call cross-fitting. This allows us to use a very broad set of ML predictive methods in solving the auxiliary and main prediction problems, such as random forest, lasso, ridge, deep neural nets, boosted trees, as well as various hybrids and aggregators of these methods.

研究动机与目标

• 解决在使用现代机器学习方法估计高维干扰参数时，对低维因果参数估计引入偏差的挑战。
• 开发一个通用框架，即使在高维设定下存在正则化偏差与过拟合，也能确保估计量的根N一致性与渐近正态性。
• 使灵活的机器学习方法（如Lasso、随机森林与神经网络）可用于因果推断中干扰函数的估计，同时不损害推断的有效性。
• 为现代高维数据设定下处理效应与结构参数的推断，提供一个理论坚实且实用的方法。

提出的方法

• 使用Neyman正交 estimating equations，对干扰参数估计的小误差具有鲁棒性，从而降低在高维设定下对估计误差的敏感性。
• 采用交叉拟合（数据分割）以减少过拟合偏差，并通过在多个数据分割上平均来提高估计效率。
• 应用机器学习方法（包括Lasso、Ridge、随机森林、提升树与神经网络）来估计高维干扰函数，如条件均值与条件倾向得分。
• 实施两阶段估计程序：首先使用机器学习估计干扰参数，然后利用去偏 estimating equations 获得根N一致性与渐近正态性的感兴趣参数估计量。
• 通过在多个样本分割中使用中位数估计标准误，以考虑数据分割带来的变异性，从而提高推断的稳健性。
• 将该框架应用于多种模型，包括部分线性回归、工具变量模型，以及在无混淆假设下的平均处理效应估计。

实验结果

研究问题

• RQ1 在高维设定下，能否可靠地使用机器学习方法估计干扰参数，而不会向低维因果参数估计引入偏差？
• RQ2 如何校正机器学习方法在估计高维干扰参数时产生的正则化偏差与过拟合偏差，以确保对感兴趣参数的有效推断？
• RQ3 在使用灵活的机器学习方法估计干扰函数时，需满足何种条件，才能确保因果参数估计量保持根N一致性与渐近正态性？
• RQ4 在实践中，选择不同的机器学习方法（如Lasso与随机森林）在多大程度上影响对因果参数的最终推断结果？
• RQ5 在交叉拟合中，如何恰当地在标准误估计中考虑数据分割带来的不确定性，以保持有效的置信区间？

主要发现

• 即使干扰参数是通过高维机器学习方法估计的，DML 仍能实现感兴趣参数的根N一致性与渐近正态性。
• 该方法成功消除了因果参数估计量中的正则化偏差与过拟合引起的偏差，从而实现了有效的置信区间与假设检验。
• 实证应用显示，不同机器学习方法下估计结果均表现出稳健性与一致性；在考虑样本分割间变异性后，标准误有所增加，但结论在定性上保持不变。
• 在401(k)退休储蓄计划的案例中，DML估计出的处理效应为11.5个百分点（标准误：0.34），且具有统计显著性，表明参与退休储蓄计划的积极影响。
• 在制度质量与经济增长关系的案例中，DML估计出制度对产出具有正向且显著的影响，系数为1.10（标准误：0.46），与先前研究结果一致，但推断的稳健性得到提升。
• 使用五重交叉拟合通常比双重复交叉拟合产生更大的标准误，表明折叠数会影响推断精度，但不同方法的结果在定性上保持一致。