[论文解读] Deep Neural Networks for Estimation and Inference

Max H. Farrell, Tengyuan Liang+1 more|RePEc: Research Papers in Economics|Sep 26, 2018

Statistical Methods and Inference被引用 7

一句话总结

本文建立了首个在使用深度神经网络（DNNs）进行第一步估计后有效的半参数推断框架，证明了激活函数为ReLU、深度随样本量发散的深层前馈网络的新型非渐近收敛速率。关键贡献在于证明DNNs可实现极小极大最优估计速率，从而支持对因果参数（如处理效应）的有效推断。

ABSTRACT

We study deep neural networks and their use in semiparametric inference. We establish novel rates of convergence for deep feedforward neural nets. Our new rates are sufficiently fast (in some cases minimax optimal) to allow us to establish valid second-step inference after first-step estimation with deep learning, a result also new to the literature. Our estimation rates and semiparametric inference results handle the current standard architecture: fully connected feedforward neural networks (multi-layer perceptrons), with the now-common rectified linear unit activation function and a depth explicitly diverging with the sample size. We discuss other architectures as well, including fixed-width, very deep networks. We establish nonasymptotic bounds for these deep nets for a general class of nonparametric regression-type loss functions, which includes as special cases least squares, logistic regression, and other generalized linear models. We then apply our theory to develop semiparametric inference, focusing on causal parameters for concreteness, such as treatment effects, expected welfare, and decomposition effects. Inference in many other semiparametric contexts can be readily obtained. We demonstrate the effectiveness of deep learning with a Monte Carlo analysis and an empirical application to direct mail marketing.

研究动机与目标

• 为深度学习估计后的推断理论空白提供填补，尽管该方法在工业界已广泛应用，但该领域的理论研究长期被忽视。
• 建立激活函数为ReLU、深度随样本量发散的深层前馈神经网络的非渐近收敛速率。
• 证明这些快速收敛速率可支持对有限维参数（如因果效应）的第二步有效推断。
• 将理论结果扩展至一般非参数回归型损失函数，包括最小二乘、逻辑回归和广义线性模型（GLMs）。
• 为将深度学习嵌入标准计量经济学模型（包括选择模型、动态离散选择模型和博弈论模型）提供理论基础。

提出的方法

• 推导在一般损失函数下深层神经网络的非渐近界，包括平方误差和对数似然函数。
• 将网络深度建模为随样本量发散，以反映现代深度学习的实际做法。
• 使用ReLU激活函数，这在当前深度学习应用中是标准做法。
• 建立在某些情况下为极小极大最优的收敛速率，从而支持第二步推断。
• 将理论应用于因果参数（如平均处理效应和福利测度）的半参数估计。
• 通过蒙特卡洛模拟和对直接邮件营销的实证应用验证该框架。

实验结果

研究问题

• RQ1 深度神经网络能否实现足够快的估计速率，以支持第一步估计后的有效半参数推断？
• RQ2 激活函数为ReLU、深度随样本量增长的深层前馈网络的非渐近收敛速率是什么？
• RQ3 这些速率在包括广义线性模型损失函数在内的各种一般非参数损失函数下是否依然有效？
• RQ4 深度学习能否在第二步推断中可靠地用于因果参数（如处理效应）的估计？
• RQ5 与非正则化模型相比，正则化（如Dropout）在实践中如何影响推断性能？

主要发现

• 本文建立了激活函数为ReLU、深度随样本量发散的深层神经网络的极小极大最优收敛速率，从而支持有效推断。
• 基于深度学习的第一步估计可支持对有限维参数（如平均处理效应）的第二步有效推断。
• 在蒙特卡洛模拟中，具有8至9层的DNN在20个和100个协变量下均实现了接近名义置信水平的覆盖率（93–95%）和极低偏差（小于0.002）。
• 即使采用正则化（如Dropout），覆盖率仍接近名义水平，但与非正则化模型相比，偏差和区间长度有所增加。
• 对直接邮件营销的实证应用表明，深度学习在估计处理效应方面优于传统方法。
• 理论结果广泛适用于半参数模型，包括选择模型、动态离散选择模型和博弈论估计。