[论文解读] Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond

Nathan Kallus, Xiaojie Mao+1 more|arXiv (Cornell University)|Dec 30, 2019

Advanced Causal Inference Techniques参考文献 80被引用 12

一句话总结

本文提出局部去偏机器学习（LDML），一种用于在参数依赖性干扰项的估计方程中高效推断分位数处理效应及其他参数的方法。LDML 通过仅聚焦于单个初始估计值而非所有参数值来估计干扰函数，避免了传统方法的计算负担，其渐近效率与已知完整干扰函数连续体的虚拟最优估计器相当。

ABSTRACT

We consider estimating a low-dimensional parameter in an estimating equation involving high-dimensional nuisances that depend on the parameter. A central example is the efficient estimating equation for the (local) quantile treatment effect ((L)QTE) in causal inference, which involves as a nuisance the covariate-conditional cumulative distribution function evaluated at the quantile to be estimated. Debiased machine learning (DML) is a data-splitting approach to estimating high-dimensional nuisances using flexible machine learning methods, but applying it to problems with parameter-dependent nuisances is impractical. For (L)QTE, DML requires we learn the whole covariate-conditional cumulative distribution function. We instead propose localized debiased machine learning (LDML), which avoids this burdensome step and needs only estimate nuisances at a single initial rough guess for the parameter. For (L)QTE, LDML involves learning just two regression functions, a standard task for machine learning methods. We prove that under lax rate conditions our estimator has the same favorable asymptotic behavior as the infeasible estimator that uses the unknown true nuisances. Thus, LDML notably enables practically-feasible and theoretically-grounded efficient estimation of important quantities in causal inference such as (L)QTEs when we must control for many covariates and/or flexible relationships, as we demonstrate in empirical studies.

研究动机与目标

• 解决现有去偏机器学习（DML）方法在干扰项依赖于待估计参数时计算不可行的问题，特别是在分位数处理效应（QTE）估计中。
• 克服在 DML 中对无限维干扰函数（如整个条件累积分布函数）进行估计的不切实际需求，尤其是在高维设置下。
• 提出一种方法，在仅估计一个参数值下的干扰项的前提下，保持渐近效率，同时大幅降低计算复杂度。
• 使标准、现成的机器学习算法（如随机森林、梯度提升）可直接应用于参数依赖性估计方程中的干扰项估计。
• 提供一个理论基础坚实、灵活可扩展的框架，适用于 QTE 之外的其他因果推断和缺失数据问题，尤其适用于参数依赖性干扰项的情形。

提出的方法

• 提出局部去偏机器学习（LDML），一种数据分割方法，仅在单个初始参数值处估计干扰函数，而非在所有可能的参数值上进行估计。
• 采用交叉拟合（cross-fitting）以增强估计目标参数及其相关干扰函数的稳健性并减少偏差。
• 将估计方程框架应用于参数依赖性问题，其中干扰函数 η₁*(Z;θ₁) 依赖于待估计的参数 θ₁。
• 利用标准机器学习任务（如回归与分类）来估计关键干扰项，例如条件期望和概率。
• 在较宽松的收敛速率条件下，建立 LDML 估计器与一个在理论上不可行但已知完整干扰函数连续体的虚拟最优估计器之间的渐近等价性。
• 通过一种新颖的理论框架，推导出理论保证，确保即使在使用高维、灵活的干扰估计器时，仍能实现根 n 渐近正态性和效率。

实验结果

研究问题

• RQ1 我们能否在干扰函数依赖于目标参数的估计方程中，实现高效且计算可行的推断？
• RQ2 是否可能避免在所有参数值上估计完整干扰函数，同时仍保持渐近效率？
• RQ3 标准机器学习方法能否在不损害理论保证的前提下，直接应用于参数依赖模型中的干扰项估计？
• RQ4 LDML 实现与虚拟最优估计器相同渐近性质所需的最小正则性和收敛速率条件是什么？
• RQ5 在具有复杂、灵活关系的高维设置下，LDML 在经验表现上如何，特别是在分位数处理效应估计方面？

主要发现

• LDML 实现了与已知完整干扰函数连续体 η₁*(Z;θ₁) 的虚拟最优估计器的渐近等价性，确保即使仅在单个参数值处估计干扰项，也不会造成效率损失。
• 该方法仅需估计两个回归函数（如条件均值和概率），这是现代机器学习算法的标准任务。
• LDML 在较宽松的收敛速率条件下仍保持根 n 渐近正态性和效率，其要求的速率条件比以往方法更为宽松。
• 该估计器对用于干扰项估计的机器学习方法选择具有鲁棒性，可直接使用现成算法（如随机森林、梯度提升）。
• 实证研究证实，即使在控制大量协变量或复杂函数形式时，LDML 也能实现对局部分位数处理效应的实用且精确的估计。
• 理论分析表明，关键估计函数是利普希茨连续的，且其导数有界，支持估计器的稳定性和一致性。