[论文解读] Double/De-Biased Machine Learning Using Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey+1 more|arXiv (Cornell University)|Feb 23, 2018

Statistical Methods and Inference被引用 19

一句话总结

本文提出了一种使用正则化Riesz表示的双重/去偏机器学习方法，用于在弱正则性条件下估计线性泛函（如平均处理效应或政策效应）。通过构建Neyman正交 estimating equations，并对回归函数及其Riesz表示均采用L1-正则化估计，该方法即使在其中一个成分稀疏而另一个密集时，也能实现根n渐近正态性和半参数效率。

ABSTRACT

We provide adaptive inference methods for linear functionals of L1-regularized linear approximations to the conditional expectation function. Examples of such functionals include average derivatives, policy effects, average treatment effects, and many others. The construction relies on building Neyman-orthogonal equations that are approximately invariant to perturbations of the nuisance parameters, including the Riesz representer for the linear functionals. We use L1-regularized methods to learn the approximations to the regression function and the Riesz representer, and construct the estimator for the linear functionals as the solution to the orthogonal estimating equations. We establish that under weak assumptions the estimator concentrates in a 1/vn neighborhood of the target with deviations controlled by the normal laws, and the estimator attains the semi-parametric efficiency bound in many cases. In particular, either the approximation to the regression function or the approximation to the Rietz representer can be “dense” as long as one of them is sufficiently “sparse”. Our main results are non-asymptotic and imply asymptotic uniform validity over large classes of models.

研究动机与目标

• 开发用于估计L1-正则化条件期望函数近似中线性泛函的自适应推断方法。
• 通过Neyman正交 estimating equations 确保对扰动的鲁棒性，包括对Neyman正交 estimating equations 的扰动，包括Riesz表示。
• 在弱假设下实现半参数效率和根n收敛，即使其中一个近似（回归或Riesz表示）是密集的。
• 在大模型类上建立非渐近集中性和渐近一致有效性。

提出的方法

• 构建Neyman正交 estimating equations，使其对干扰参数（包括Riesz表示）的小扰动近似不变。
• 使用L1-正则化方法估计回归函数和线性泛函的Riesz表示。
• 将估计量定义为正交 estimating equations 的解，通过双重/去偏机制实现偏差减少。
• 利用Riesz表示的结构，将高维设置下的线性泛函与条件期望联系起来。
• 确保在模型弱正则性条件下，估计量实现根n收敛和渐近正态性。
• 允许其中一个近似（回归或Riesz表示）为密集，同时保持效率，前提是另一个足够稀疏。

实验结果

研究问题

• RQ1 我们能否为高维条件期望的线性泛函构造一种双重/去偏估计量，以保持根n收敛和渐近正态性？
• RQ2 如何通过正交 estimating equations 确保对回归函数和Riesz表示估计误差的鲁棒性？
• RQ3 在何种条件下，估计量在高维设置下实现半参数效率？
• RQ4 当其中一个干扰成分（回归或Riesz表示）为密集时，该方法是否仍有效，前提是另一个足够稀疏？
• RQ5 估计量在大类模型上表现出何种非渐近集中性特征？

主要发现

• 所提出的估计量在弱正则性条件下实现根n收敛和渐近正态性，偏差受正态分布控制。
• 估计量在许多模型中达到半参数效率下界，表明统计性能最优。
• 非渐近集中结果意味着在大类高维模型上具有统一的渐近有效性。
• 即使其中一个近似（回归函数或Riesz表示）为密集，只要另一个足够稀疏，该方法仍保持高效。
• 使用Neyman正交方程确保对干扰参数（包括Riesz表示）估计误差的鲁棒性。
• 估计量通过L1-正则化方法估计回归函数和Riesz表示构建，从而实现高维自适应性。