[論文レビュー] Deep Neural Networks for Estimation and Inference: Application to Causal Effects and Other Semiparametric Estimands.

Max H. Farrell, Tengyuan Liang+1 more|arXiv (Cornell University)|Sep 26, 2018

Statistical Methods and Inference被引用数 44

ひとこと要約

この論文は、ReLU活性化関数を用いた深層フィードフォワードネットワークと発散する深さを伴うものについて、因果効果やその他の推定量に対する有効な半パラメトリック推論を確立し、高速な収束速度（最小最大最適速度を含む）を証明している。この手法により、因果推論やその他の半パラメトリック問題における信頼性の高い推論が可能となり、モンテカルロシミュレーションおよび直接メールマーケティングへの応用によって検証されている。

ABSTRACT

We study deep neural networks and their use in semiparametric inference. We prove valid inference after first-step estimation with deep learning, a result new to the literature. We provide new rates of convergence for deep feedforward neural nets and, because our rates are sufficiently fast (in some cases minimax optimal), obtain valid semiparametric inference. Our estimation rates and semiparametric inference results handle the current standard architecture: fully connected feedforward neural networks (multi-layer perceptrons), with the now-common rectified linear unit activation function and a depth explicitly diverging with the sample size. We discuss other architectures as well, including fixed-width, very deep networks. We establish nonasymptotic bounds for these deep nets for nonparametric regression, covering the standard least squares and logistic losses in particular. We then apply our theory to develop semiparametric inference, focusing on treatment effects, expected welfare, and decomposition effects for concreteness. Inference in many other semiparametric contexts can be readily obtained. We demonstrate the effectiveness of deep learning with a Monte Carlo analysis and an empirical application to direct mail marketing.

研究の動機と目的

• 深層ニューラルネットワークを半パラメトリック推論に用いる理論的基盤を構築すること。特に因果効果に焦点を当てる。
• ReLU活性化関数を用いた深層フィードフォワードネットワークと発散する深さを伴うものについて、非漸近的収束速度を確立すること。
• 深層学習による最初の段階の推定後に有効な推論を可能にするという、文献における空白を埋めること。
• 理論を固定幅で非常に深いネットワークやその他のアーキテクチャにも拡張すること。
• 平均処置効果、期待福利厚、分解効果などの具体的な半パラメトリック推定量にこのフレームワークを適用すること。

提案手法

• 論文は、最小二乗損失およびロジスティック損失の下で、非パラメトリック回帰における深層フィードフォワードニューラルネットワークの非漸近的バウンドを導出する。
• 有効な半パラメトリック推論を可能にする十分に速い収束速度（最小最大最適を含む）を証明する。
• 理論的保証を伴う、深層ニューラルネットワークによる最初の段階の推定の後に、目的の推定量に関する推論を行うという手法に依拠する。
• 標準的なアーキテクチャ（全結合、ReLU活性化、多層パーセプトロン）をカバーする分析であり、深さが標本サイズに応じて増加するものである。
• 固定幅で非常に深いネットワークやその他のアーキテクチャに対しても、理論的サポートを伴ってフレームワークを拡張する。
• 平均処置効果、期待福利厚、分解効果などの半パラメトリック推定量にこのアプローチを適用する。

実験結果

リサーチクエスチョン

• RQ1 標本サイズに応じて深さが増加する深層ニューラルネットワークを、標本サイズが有限の状態で有効な半パラメトリック推論に使用できるか？
• RQ2 非パラメトリック回帰におけるReLU活性化関数を用いた深層フィードフォワードネットワークの非漸近的収束速度は何か？
• RQ3 これらの収束速度は、平均処置効果や期待福利厚のような推定量に対する有効な推論を支持するか？
• RQ4 有限標本において、深層学習に基づく推論の性能は、従来の手法と比べてどうか？
• RQ5 このフレームワークは、固定幅で非常に深いネットワークアーキテクチャに拡張可能か？

主な発見

• ReLU活性化関数と発散する深さを伴う深層フィードフォワードニューラルネットワークについて、最小最大最適収束速度が確立された。
• 深層学習による最初の段階の推定後に有効な半パラメトリック推論が証明された。これは文献において画期的な貢献である。
• 深層ネットワークを用いた最小二乗損失およびロジスティック損失の下での非パラメトリック回帰について、理論的バウンドが導出された。
• モンテカルロシミュレーションにより、提案された推論手順の有限標本における有効性が示された。
• 直接メールマーケティングへの実応用により、この手法の実用的有用性と頑健性が確認された。
• このフレームワークは、処置効果や分解効果を含む、さまざまな半パラメトリック推定量の推論を可能にする。