[论文解读] Double Debiased Machine Learning Nonparametric Inference with Continuous Treatments

Kyle Colangelo, Ying‐Ying Lee|arXiv (Cornell University)|Apr 6, 2020

Advanced Causal Inference Techniques被引用 8

一句话总结

本文提出了一种用于连续处理变量的平均剂量反应函数和部分效应的非参数推断的双重去偏机器学习（DML）方法，采用基于核的双重稳健矩函数与交叉拟合。该方法在极简正则性条件下，即使通过灵活的非参数或机器学习方法估计异质函数（条件均值和密度），仍能实现渐近正态性与非参数收敛速率。

ABSTRACT

We propose a doubly robust inference method for causal effects of continuous treatment variables, under unconfoundedness and with nonparametric or high-dimensional nuisance functions. Our double debiased machine learning (DML) estimators for the average dose-response function (or the average structural function) and the partial effects are asymptotically normal with non-parametric convergence rates. The first-step estimators for the nuisance conditional expectation function and the conditional density can be nonparametric or ML methods. Utilizing a kernel-based doubly robust moment function and cross-fitting, we give high-level conditions under which the nuisance function estimators do not affect the first-order large sample distribution of the DML estimators. We provide sufficient low-level conditions for kernel, series, and deep neural networks. We justify the use of kernel to localize the continuous treatment at a given value by the Gateaux derivative. We implement various ML methods in Monte Carlo simulations and an empirical application on a job training program evaluation

研究动机与目标

• 开发一种针对连续处理变量下平均剂量反应函数和部分效应的双重稳健、非参数推断方法。
• 使机器学习和非参数方法可用于估计高维或复杂异质函数（条件均值和密度），且不影响第一阶渐近分布。
• 建立高层与低层正则性条件，使得异质估计器不影响连续处理变量下DML估计器的渐近分布。
• 通过Gateaux导数论证，为基于核的局部化方法在连续处理效应中的应用提供理论依据。
• 为具有连续处理变量的场景（如职业培训项目或需求分析）提供实用的推断框架，结合交叉拟合与灵活的机器学习方法。

提出的方法

• 采用基于核的双重稳健矩函数：$ \gamma(t,X_i) + \frac{K_h(T_i - t)}{f_{T|X}(t|X_i)}(Y_i - \gamma(t,X_i)) $，其中 $ \gamma $ 为条件均值，$ f_{T|X} $ 为广义倾向得分。
• 使用L重交叉拟合，在样本外数据上估计异质函数，以降低偏差并实现渐近正态性。
• 应用交叉拟合以确保异质函数估计器不影响DML估计器的第一阶渐近分布。
• 实施非参数与机器学习方法（核方法、级数法、深度神经网络）以估计 $ \gamma(t,X) $ 与 $ f_{T|X}(t|X) $。
• 通过在固定处理值 $ t $ 处的局部 $ L_2 $ 范数，而非整个联合分布，推导收敛速率的高层条件。
• 通过估计的平均剂量反应函数求导，数值估计部分效应。

实验结果

研究问题

• RQ1 双重去偏机器学习能否扩展至高维或非参数异质函数下连续处理变量的非参数推断？
• RQ2 在何种条件下，异质函数估计器不影响连续处理变量下DML估计器的第一阶渐近分布？
• RQ3 在连续处理效应背景下，如何通过Gateaux导数论证支持基于核的局部化方法？
• RQ4 在该DML框架下，针对核方法、级数法与深度神经网络估计器，其充分的低层正则性条件是什么？
• RQ5 当结果变量与处理变量均采用非参数建模时，该方法能否实现渐近正态性与有效推断？

主要发现

• 所提出的平均剂量反应函数 $ \beta_t $ 的DML估计器在渐近正态性下具有非参数收敛速率 $ \sqrt{n h^{d_T}} $，即使异质函数通过机器学习方法估计亦成立。
• 该方法实现了双重稳健性：即使其中一个异质函数（条件均值或密度）被误设，渐近正态性仍成立。
• 提供了高层条件，表明异质函数估计器的收敛速率不影响第一阶渐近分布，其依据为在固定 $ t $ 处的局部 $ L_2 $ 范数。
• 为核方法、级数法与深度神经网络估计器建立了低层条件，确保在标准正则性假设下满足高层条件。
• 通过Gateaux导数分析，验证了基于核的局部化方法的合理性，支持该矩函数在连续处理效应中的有效性。
• 蒙特卡洛模拟与一项职业培训项目的经验应用表明，该方法在有限样本下表现良好，具备实际应用价值。