[论文解读] Automatic Debiased Machine Learning via Riesz Regression

Victor Chernozhukov, Whitney K. Newey+2 more|arXiv (Cornell University)|Apr 30, 2021

Neural Networks and Applications被引用 9

一句话总结

该论文提出了一种基于神经网络估计偏差校正项的自动去偏机器学习框架，用于广义线性回归参数。通过构建Neyman正交矩函数，并提供对校正函数的神经网络学习者的收敛速率，该方法在最小建模假设下实现了渐近正态性和有效的推断。

ABSTRACT

A variety of interesting parameters may depend on high dimensional regressions. Machine learning can be used to estimate such parameters. However estimators based on machine learners can be severely biased by regularization and/or model selection. Debiased machine learning uses Neyman orthogonal estimating equations to reduce such biases. Debiased machine learning generally requires estimation of unknown Riesz representers. A primary innovation of this paper is to provide Riesz regression estimators of Riesz representers that depend on the parameter of interest, rather than explicit formulae, and that can employ any machine learner, including neural nets and random forests. End-to-end algorithms emerge where the researcher chooses the parameter of interest and the machine learner and the debiasing follows automatically. Another innovation here is debiased machine learners of parameters depending on generalized regressions, including high-dimensional generalized linear models. An empirical example of automatic debiased machine learning using neural nets is given. We find in Monte Carlo examples that automatic debiasing sometimes performs better than debiasing via inverse propensity scores and never worse. Finite sample mean square error bounds for Riesz regression estimators and asymptotic theory are also given.

研究动机与目标

• 解决在高维、非线性回归设置下，标准机器学习方法引入偏差从而破坏置信区间的问题。
• 开发一种无需事先知道校正函数形式的模型无关、自动方法，用于估计去偏机器学习中的偏差校正项。
• 通过将交叉拟合与回归函数和校正函数学习者的速率条件相结合，确保感兴趣参数的渐近正态性和一致的方差估计。
• 将现有去偏学习框架推广至处理广义线性回归，包括因果效应和政策效应，在最小正则性假设下实现。
• 基于临界半径和逼近速率理论，提供基于神经网络的校正函数学习者的收敛速率。

提出的方法

• 通过在识别矩中添加回归残差与校正函数 $\alpha_0$ 的乘积，构造Neyman正交矩函数，确保回归对矩函数无一阶影响。
• 定义一个在真实 $\alpha_0$ 处取得最小值的目标函数，该函数仅依赖于感兴趣对象和回归残差，从而实现自动学习。
• 使用数据非参数地估计目标函数并使其最小化，以获得 $\alpha_0$ 的神经网络学习者，其收敛速率基于临界半径和逼近速率条件推导得出。
• 使用交叉拟合以消除模型选择带来的偏差，并避免对回归学习者施加Donsker型条件，从而在模型误设下提升稳健性。
• 建立联合估计量在感兴趣参数上渐近正态且方差估计一致的条件，依赖于 $\alpha_0$ 和回归学习者收敛速率乘积的衰减速率快于 $n^{-1/2}$。
• 应用Foster和Syrgkanis（2019）以及Farrell等（2021）的结果，以网络宽度、深度、输入维度和回归函数光滑性为参数，推导神经网络的收敛速率。

实验结果

研究问题

• RQ1 我们能否为依赖于广义线性回归的参数构建一个对高维、非线性且可能误设的回归具有鲁棒性的去偏机器学习估计器？
• RQ2 我们能否仅使用感兴趣对象和回归残差，无需预先知道其函数形式，自动学习偏差校正函数 $\alpha_0$？
• RQ3 基于神经网络的 $\alpha_0$ 学习者的收敛速率能达到多快？其与网络架构和底层回归函数光滑性有何关系？
• RQ4 在何种条件下，感兴趣参数的最终估计量是渐近正态且方差估计一致的？
• RQ5 交叉拟合能否用于消除模型选择带来的偏差，并在不依赖回归学习者满足Donsker条件的情况下确保稳健推断？

主要发现

• 在回归学习者与 $\alpha_0$ 学习者均方收敛速率乘积的衰减速率快于 $n^{-1/2}$ 的条件下，所提方法可实现参数估计量的渐近正态性。
• 对于非线性参数或残差，回归学习者必须以快于 $n^{-1/4}$ 的均方收敛速度，以确保偏差校正所需的足够精度。
• 基于神经网络的 $\alpha_0$ 学习者实现了依赖于网络宽度、深度、输入维度和回归函数光滑性的收敛速率，其结果基于临界半径和逼近速率理论推导得出。
• 交叉拟合有效消除了模型选择带来的偏差，并消除了对回归学习者满足Donsker条件的需求，从而增强了稳健性。
• 由于矩函数具有Neyman正交结构，该方法即使在模型误设下也能实现一致的方差估计和渐近正态性。
• 理论结果通过渐近正态性和一致方差估计的证明得到验证，其依赖于有界性、收敛速率和矩条件等假设。