[论文解读] Learning L2 Continuous Regression Functionals via Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey+1 more|arXiv (Cornell University)|Sep 14, 2018

Statistical Methods and Inference参考文献 34被引用 33

一句话总结

本文提出使用Lasso和Dantzig选择器方法来学习L2连续泛函中的Riesz表示元（RRs），从而通过去偏机器学习实现仿射及非线性泛函的根-n一致性和渐近正态性估计。关键贡献在于构建了一个稳健的框架，即使回归学习器收敛缓慢，也能通过一种新的渐近方差估计量维持有效的推断。

ABSTRACT

Many objects of interest can be expressed as an L2 continuous functional of a regression, including average treatment effects, economic average consumer surplus, expected conditional covariances, and discrete choice parameters that depend on expectations. Debiased machine learning (DML) of these objects requires a learning a Riesz representer (RR). We provide here Lasso and Dantzig learners of the RR and corresponding learners of affine and other nonlinear functionals. We give an asymptotic variance estimator for DML. We allow for a wide variety of regression learners that can converge at relatively slow rates. We give conditions for root-n consistency and asymptotic normality of the functional learner. We give results for non affine functionals in addition to affine functionals.

研究动机与目标

• 开发可靠的方法以学习L2连续泛函中的Riesz表示元（RRs），这对于复杂统计对象的去偏机器学习（DML）至关重要。
• 即使回归学习器收敛缓慢，也实现功能性估计量的根-n一致性和渐近正态性。
• 将DML扩展至非仿射泛函，例如依赖于期望的条件协方差和离散选择参数。
• 为DML提供一个有效的渐近方差估计量，支持在回归学习器弱正则性条件下进行推断。
• 确保在使用高维或非参数回归估计器进行功能性估计时具备鲁棒性和理论有效性。

提出的方法

• 提出使用Lasso和Dantzig选择器方法来估计L2空间中泛函的Riesz表示元（RR），利用稀疏性和正则化。
• 利用Riesz表示元构建泛函的去偏估计量，即使回归学习器的收敛率较弱，也能实现渐近正态性。
• 推导出一种新的DML渐近方差估计量，以考虑Riesz表示元和回归分量中的估计误差。
• 建立在回归学习器收敛缓慢时，功能性估计量仍能达到根-n一致性与渐近正态性的条件。
• 将该框架应用于仿射和非线性泛函，如平均处理效应和条件期望协方差。
• 采用双重/去偏估计策略，将Riesz表示元的估计与泛函的估计分离，降低偏差并支持有效推断。

实验结果

研究问题

• RQ1 Lasso和Dantzig选择器能否在高维或非参数设定下可靠地估计Riesz表示元？
• RQ2 当回归学习器收敛缓慢时，功能性估计量在何种条件下能实现根-n一致性与渐近正态性？
• RQ3 在回归学习器正则性假设较弱的情况下，如何实现DML中L2连续泛函的有效渐近方差估计？
• RQ4 该框架能否扩展至仿射泛函之外，以包含如条件期望协方差和离散选择参数等非线性泛函？
• RQ5 在Riesz表示元估计存在误差的情况下，确保功能性去偏估计量保持渐近正态性的理论条件是什么？

主要发现

• 在适当的稀疏性和速率条件下，Riesz表示元的Lasso和Dantzig选择器方法即使在回归学习器收敛缓慢时，也能实现根-n一致性。
• 所提出的DML渐近方差估计量有效且稳健，支持在高维和非参数设定下的正确推断。
• 该框架使仿射和非线性泛函（如平均处理效应和条件期望协方差）均能实现渐近正态性和根-n一致性。
• 该方法在回归学习器正则性条件较弱时仍保持理论有效性，拓宽了其适用范围，不再局限于快速收敛估计器。
• 理论结果表明，功能性去偏估计量是渐近正态的，从而支持置信区间和假设检验。
• 该方法支持对依赖于期望的复杂统计对象（如离散选择参数）进行推断，扩展了DML的应用范围。