[论文解读] Deep Neural Networks for Estimation and Inference: Application to Causal Effects and Other Semiparametric Estimands.

Max H. Farrell, Tengyuan Liang+1 more|arXiv (Cornell University)|Sep 26, 2018

Statistical Methods and Inference被引用 44

一句话总结

本文通过深度神经网络建立了因果效应及其他估计量的有效半参数推断，证明了使用ReLU激活函数且深度发散的深度前馈网络具有快速收敛速率，包括最小最大最优速率。该方法在因果推断及其他半参数问题中实现了可靠的推断，经蒙特卡洛模拟和直接邮件营销应用验证。

ABSTRACT

We study deep neural networks and their use in semiparametric inference. We prove valid inference after first-step estimation with deep learning, a result new to the literature. We provide new rates of convergence for deep feedforward neural nets and, because our rates are sufficiently fast (in some cases minimax optimal), obtain valid semiparametric inference. Our estimation rates and semiparametric inference results handle the current standard architecture: fully connected feedforward neural networks (multi-layer perceptrons), with the now-common rectified linear unit activation function and a depth explicitly diverging with the sample size. We discuss other architectures as well, including fixed-width, very deep networks. We establish nonasymptotic bounds for these deep nets for nonparametric regression, covering the standard least squares and logistic losses in particular. We then apply our theory to develop semiparametric inference, focusing on treatment effects, expected welfare, and decomposition effects for concreteness. Inference in many other semiparametric contexts can be readily obtained. We demonstrate the effectiveness of deep learning with a Monte Carlo analysis and an empirical application to direct mail marketing.

研究动机与目标

• 为在半参数推断中使用深度神经网络，特别是因果效应，建立理论基础。
• 为具有ReLU激活函数且深度随样本量增加的深度前馈网络建立非渐近收敛速率。
• 实现在使用深度学习进行第一步估计后仍能进行有效推断，填补了文献中的空白。
• 将理论扩展至固定宽度、极深网络及其他架构。
• 将该框架应用于具体的半参数估计量，如处理效应、期望福利和分解效应。

提出的方法

• 本文推导了在最小二乘损失和逻辑损失下，非参数回归中深度前馈神经网络的非渐近界。
• 证明了深度网络的收敛速率足够快（包括最小最大最优），可支持有效的半参数推断。
• 该方法依赖于使用深度神经网络进行第一步估计，随后对目标估计量进行推断，具有理论保证。
• 分析涵盖标准架构：全连接、ReLU激活、多层感知机，其深度随样本量增加。
• 该框架已扩展至固定宽度、极深网络及其他架构，并获得理论支持。
• 该方法已应用于半参数估计量，如平均处理效应、期望福利和分解效应。

实验结果

研究问题

• RQ1 当深度神经网络的深度随样本量增加时，能否用于有效半参数推断？
• RQ2 具有ReLU激活函数的深度前馈网络在非参数回归中的非渐近收敛速率是什么？
• RQ3 这些收敛速率是否足以支持对平均处理效应和期望福利等估计量的有效推断？
• RQ4 在有限样本中，基于深度学习的推断方法与经典方法相比表现如何？
• RQ5 该框架能否扩展至固定宽度、极深网络架构？

主要发现

• 本文为具有ReLU激活函数且深度发散的深度前馈神经网络建立了最小最大最优收敛速率。
• 在使用深度学习进行第一步估计后，证明了有效半参数推断，这是文献中的新贡献。
• 推导了在最小二乘损失和逻辑损失下，使用深度网络进行非参数回归的理论界。
• 蒙特卡洛模拟表明，所提出的推断程序在有限样本中具有有效性。
• 在直接邮件营销中的实证应用表明，该方法具有实际效用和稳健性。
• 该框架支持对一系列半参数估计量的推断，包括处理效应和分解效应。