[论文解读] Double/Debiased Machine Learning for Dynamic Treatment Effects via g-Estimation

Greg Lewis, Vasilis Syrgkanis|arXiv (Cornell University)|Feb 17, 2020

Advanced Causal Inference Techniques参考文献 47被引用 6

一句话总结

本文将双/去偏机器学习扩展至使用Neyman正交、交叉拟合的g-估计框架，以估计顺序治疗制度中的动态治疗效应。该方法支持高维控制与机器学习，为结构参数提供根n渐近推断，并在最小半参数限制下支持离策略评估与异质效应估计。

ABSTRACT

We consider the estimation of treatment effects in settings when multiple treatments are assigned over time and treatments can have a causal effect on future outcomes or the state of the treated unit. We propose an extension of the double/debiased machine learning framework to estimate the dynamic effects of treatments, which can be viewed as a Neyman orthogonal (locally robust) cross-fitted version of $g$-estimation in the dynamic treatment regime. Our method applies to a general class of non-linear dynamic treatment models known as Structural Nested Mean Models and allows the use of machine learning methods to control for potentially high dimensional state variables, subject to a mean square error guarantee, while still allowing parametric estimation and construction of confidence intervals for the structural parameters of interest. These structural parameters can be used for off-policy evaluation of any target dynamic policy at parametric rates, subject to semi-parametric restrictions on the data generating process. Our work is based on a recursive peeling process, typical in $g$-estimation, and formulates a strongly convex objective at each stage, which allows us to extend the $g$-estimation framework in multiple directions: i) to provide finite sample guarantees, ii) to estimate non-linear effect heterogeneity with respect to fixed unit characteristics, within arbitrary function spaces, enabling a dynamic analogue of the RLearner algorithm for heterogeneous effects, iii) to allow for high-dimensional sparse parameterizations of the target structural functions, enabling automated model selection via a recursive lasso algorithm. We also provide guarantees for data stemming from a single treated unit over a long horizon and under stationarity conditions.

研究动机与目标

• 估计治疗随时间分配并影响未来结果或状态时的动态治疗效应。
• 将双/去偏机器学习扩展至非线性动态治疗模型，特别是结构嵌套均值模型（SNMMs）。
• 在保持结构参数根n渐近推断的同时，允许对高维状态变量使用机器学习。
• 在半参数限制下，以参数速率支持目标动态策略的离策略评估。
• 通过递归Lasso实现非线性效应异质性与高维稀疏参数化的估计。

提出的方法

• 采用受g-估计启发的递归剥离过程，以在一系列阶段中建模动态治疗效应。
• 在每个阶段，制定强凸优化目标，以确保估计的稳定与高效。
• 利用交叉拟合与Neyman正交性，实现根n渐近正态性，并对机器学习估计误差保持稳健。
• 整合机器学习以实现高维控制函数，同时保持对结构参数估计效率的维持。
• 采用递归Lasso算法，实现在高维稀疏参数化结构函数中的自动模型选择。
• 在平稳性与长时域数据条件下，为单个处理单位推导有限样本保证。

实验结果

研究问题

• RQ1 双/去偏机器学习能否扩展至具有时变治疗与结果的动态治疗制度？
• RQ2 在动态模型中，如何在保持结构参数根n推断的同时控制高维状态变量？
• RQ3 在动态设定下，能否在任意函数空间中估计相对于固定单位特征的非线性效应异质性？
• RQ4 递归Lasso在实现动态结构函数自动模型选择中起到什么作用？
• RQ5 在单单位、长时域设定下，该方法在何种条件下可为离策略评估提供有效推断？

主要发现

• 在半参数限制下，该方法实现了结构参数的根n渐近正态性，从而支持有效的置信区间与假设检验。
• 即使存在高维混杂因素，也能以参数速率支持任意目标动态策略的离策略评估。
• 相对于个体特定协变量的非线性效应异质性可在任意函数空间中估计，将RLearner框架扩展至动态设定。
• 递归Lasso算法实现了在高维设定下对结构函数稀疏参数化的自动、数据驱动选择。
• 在平稳性条件下，针对单个处理单位的数据，建立了有限样本保证。
• 通过Neyman正交性与交叉拟合，该框架对机器学习估计误差保持稳健。