[论文解读] Automatic Debiased Machine Learning via Neural Nets for Generalized Linear Regression

Victor Chernozhukov, Whitney K. Newey+2 more|arXiv (Cornell University)|Jan 1, 2021

Statistical Methods and Inference参考文献 77被引用 5

一句话总结

本文提出了一种全自动的、基于神经网络的去偏机器学习框架，用于估计广义线性回归模型中的参数，其中残差与自变量正交。该方法通过仅使用感兴趣对象和残差端到端学习偏差校正，实现了渐近正态性和一致的方差估计，并为神经网络学习器和一般学习器建立了既定的收敛速率。

ABSTRACT

We give debiased machine learners of parameters of interest that depend on generalized linear regressions, which regressions make a residual orthogonal to regressors. The parameters of interest include many causal and policy effects. We give neural net learners of the bias correction that are automatic in only depending on the object of interest and the regression residual. Convergence rates are given for these neural nets and for more general learners of the bias correction. We also give conditions for asymptotic normality and consistent asymptotic variance estimation of the learner of the object of interest.

研究动机与目标

• 开发一种针对广义线性回归模型中感兴趣参数的全自动去偏机器学习方法。
• 通过仅依赖感兴趣对象和回归残差，消除对偏差校正的手动调优。
• 为偏差校正的神经网络学习器和一般学习器建立收敛速率。
• 确保感兴趣参数最终估计量的渐近正态性和一致的渐近方差估计。

提出的方法

• 该方法构建一个神经网络，直接从残差和感兴趣对象中学习偏差校正项。
• 利用残差与自变量之间的正交性条件，确保在广义线性模型中进行有效推断。
• 神经网络被训练以近似偏差校正的影响函数，从而实现无需外部调优的自动适应。
• 在正则性条件下，推导出偏差校正的神经网络学习器和一般学习器的收敛速率。
• 在较弱的矩和光滑性条件下，建立了最终估计量的渐近正态性。
• 通过使用学习到的偏差校正的插值方法，实现了渐近方差的一致估计。

实验结果

研究问题

• RQ1 能否使用神经网络在广义线性模型的去偏机器学习中自动学习偏差校正？
• RQ2 在此设置下，基于神经网络的偏差校正学习器的收敛速率是什么？
• RQ3 在何种条件下，感兴趣参数的最终估计量能达到渐近正态性？
• RQ4 是否可以在不手动指定偏差校正的情况下实现一致的渐近方差估计？
• RQ5 当残差与自变量正交时，该方法如何确保有效推断？

主要发现

• 所提出的基于神经网络的偏差校正方法在广义线性模型设定下，达到了与已知一般去偏学习器相当的收敛速率。
• 在模型和神经网络架构的正则性条件下，最终估计量的渐近正态性得以确立。
• 通过使用学习到的偏差校正，可以实现渐近方差的一致估计，从而支持有效推断。
• 该方法完全自动化，仅需输入感兴趣对象和残差，无需对偏差校正组件进行手动调优。
• 该框架通过将因果效应和政策效应嵌入广义线性回归结构中，支持对这些效应的估计。