[论文解读] De-Biased Machine Learning of Global and Local Parameters Using Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey+1 more|arXiv (Cornell University)|Feb 23, 2018

Statistical Methods and Inference被引用 26

一句话总结

本文提出一种使用ℓ₁-惩罚估计的正则化Riesz表示法方法，以实现高维模型中全局与局部参数的去偏机器学习。通过构建对扰动函数的小扰动具有鲁棒性的Neyman正交 estimating equations，该方法确保了在非正则泛函（收敛速率较慢）情形下，仍具有诚实推断、一致渐近有效性以及非渐近高斯近似。

ABSTRACT

We provide adaptive inference methods, based on $\ell_1$ regularization, for regular (semi-parametric) and non-regular (nonparametric) linear functionals of the conditional expectation function. Examples of regular functionals include average treatment effects, policy effects, and derivatives. Examples of non-regular functionals include average treatment effects, policy effects, and derivatives conditional on a covariate subvector fixed at a point. We construct a Neyman orthogonal equation for the target parameter that is approximately invariant to small perturbations of the nuisance parameters. To achieve this property, we include the Riesz representer for the functional as an additional nuisance parameter. Our analysis yields weak ``double sparsity robustness'': either the approximation to the regression or the approximation to the representer can be ``completely dense'' as long as the other is sufficiently ``sparse''. Our main results are non-asymptotic and imply asymptotic uniform validity over large classes of models, translating into honest confidence bands for both global and local parameters.

研究动机与目标

• 开发一个在高维设定下对条件回归函数的线性泛函进行诚实推断的一般框架。
• 解决在弱识别或非正则性条件下，针对全局与局部参数时机器学习估计量的偏差问题。
• 通过单一稳健框架统一处理正则泛函（1/√n速率）与非正则泛函（慢于1/√n速率）的估计与推断。
• 为ℓ₁-正则化Riesz表示法估计提供非渐近理论，确保在模型误设下的鲁棒性。
• 将双重机器学习扩展至局部参数（如条件平均处理效应），这些参数在以往文献中研究不足。

提出的方法

• 通过将泛函的Riesz表示法作为额外的干扰参数纳入，构造Neyman正交 estimating equations，以实现双重稳健性。
• 使用ℓ₁-正则化估计求解隐含刻画Riesz表示法的样本矩条件，避免显式估计密度或倾向得分。
• 应用交叉拟合（样本分割）以减少过拟合偏差，并确保在高维模型中的一致有效性。
• 建立弱双重稀疏性鲁棒性：只要其中一个（回归或Riesz表示法）近似稀疏，即使另一个为密集，也能保持鲁棒性。
• 利用高斯近似理论，推导在正则化回归估计下DML估计量的非渐近正态性。
• 通过线性化方法将框架扩展至非线性泛函，如作者后续工作中所示。

实验结果

研究问题

• RQ1 我们能否构建一个去偏机器学习估计量，使其在高维模型中对全局与局部参数均保持诚实推断？
• RQ2 在估计收敛速率较慢的泛函时，如何确保一致渐近有效性与非渐近高斯近似？
• RQ3 Riesz表示法在实现正则与非正则泛函的Neyman正交性中起什么作用？
• RQ4 对Riesz表示法的ℓ₁-正则化估计能否避免显式估计导数或逆函数（如平均处理效应或平均导数）？
• RQ5 该方法在模型误设下如何保持可解释性与鲁棒性？

主要发现

• 所提方法在回归与Riesz表示法的ℓ₁-正则化估计下，实现了DML估计量的非渐近高斯近似，从而支持诚实置信区间。
• 估计量表现出弱双重稀疏性鲁棒性：只要回归或Riesz表示法近似之一为稀疏，即使另一个为密集，也能保持鲁棒性，确保对模型误设的稳健性。
• 对于局部参数，该方法在速率L/√n下实现渐近正态性，其中L → ∞，可覆盖非正则泛函（如条件平均处理效应）。
• Riesz表示法通过ℓ₁-正则化矩条件进行估计，避免了显式密度或逆倾向得分估计，从而在高维下提升了稳定性。
• 该框架在大类模型上保持一致有效性，收敛速率取决于稀疏性与光滑性假设，包括在密集模型下的慢速收敛。
• 该方法通过估计投影的线性泛函而非回归本身，即使在模型误设下也保持可解释性。