[論文レビュー] Deep Neural Networks for Estimation and Inference

Max H. Farrell, Tengyuan Liang+1 more|RePEc: Research Papers in Economics|Sep 26, 2018

Statistical Methods and Inference被引用数 7

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）を用いた1段階目の推定の後で、最初の妥当な半パラメトリック推論フレームワークを確立し、深さが標本サイズとともに発散するReLU活性化関数を用いた深層フィードフォワードネットワークの新しい非漸近的収束速度を証明した。主な貢献は、DNNが最小最大最適推定速度を達成できることを示したことであり、これにより処置効果などの因果パラメータに関する有効な推論が可能になった。

ABSTRACT

We study deep neural networks and their use in semiparametric inference. We establish novel rates of convergence for deep feedforward neural nets. Our new rates are sufficiently fast (in some cases minimax optimal) to allow us to establish valid second-step inference after first-step estimation with deep learning, a result also new to the literature. Our estimation rates and semiparametric inference results handle the current standard architecture: fully connected feedforward neural networks (multi-layer perceptrons), with the now-common rectified linear unit activation function and a depth explicitly diverging with the sample size. We discuss other architectures as well, including fixed-width, very deep networks. We establish nonasymptotic bounds for these deep nets for a general class of nonparametric regression-type loss functions, which includes as special cases least squares, logistic regression, and other generalized linear models. We then apply our theory to develop semiparametric inference, focusing on causal parameters for concreteness, such as treatment effects, expected welfare, and decomposition effects. Inference in many other semiparametric contexts can be readily obtained. We demonstrate the effectiveness of deep learning with a Monte Carlo analysis and an empirical application to direct mail marketing.

研究の動機と目的

• 産業界での広範な使用にもかかわらず、深層学習推定後の推論に関する理論的ギャップを埋めるため。
• 深さが標本サイズとともに発散するReLU活性化関数を用いた深層フィードフォワードニューラルネットワークの非漸近的収束速度を確立するため。
• これらの高速収束速度が、平均処置効果や福祉測度などの有限次元の注目パラメータの2段階目の推論を有効に支えることを示すため。
• 最小二乗法、ロジスティック回帰、一般化線形モデル（GLMs）を含む一般的な非パラメトリック回帰型損失関数へ理論を拡張するため。
• 選択モデル、動的離散選択、ゲーム理論モデルを含む標準的な計量経済モデルへの深層学習の統合の基盤を提供するため。

提案手法

• 一般損失関数（二乗誤差や対数尤度を含む）の下で深層ニューラルネットワークの非漸近的バウンドを導出する。
• ネットワークの深さを標本サイズとともに発散させるモデル化を行い、現代の深層学習の実践を反映させる。
• 現在の深層学習応用で標準的であるReLU活性化関数を用いる。
• 一部の状況で最小最大最適となる収束速度を確立し、2段階目の推論を可能にする。
• 平均処置効果や福祉測度などの因果パラメータの半パラメトリック推定に理論を適用する。
• モンテカルロシミュレーションとダイレクトメールマーケティングへの実応用を通じてフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、1段階目の推定後の有効な半パラメトリック推論を支えるのに十分な速さの推定速度を達成できるか？
• RQ2 深さが標本サイズとともに増加するReLU活性化関数を用いた深層フィードフォワードネットワークの非漸近的収束速度は何か？
• RQ3 これらの収束速度は、一般化線形モデルの損失関数を含む一般的な非パラメトリック損失関数の下でも有効に保たれるか？
• RQ4 処置効果などの因果パラメータの2段階目推論において、深層学習は信頼性を持って使用できるか？
• RQ5 ドロップアウトなどの正則化は、非正則化モデルと比較して実際の推論性能にどのように影響するか？

主な発見

• この論文は、深さが発散するReLU活性化関数を用いた深層ニューラルネットワークに対して最小最大最適収束速度を確立し、有効な推論を可能にした。
• 深層学習を用いた1段階目の推定は、平均処置効果などの有限次元パラメータの2段階目の推論を有効に支える。
• モンテカルロシミュレーションでは、8〜9層のDNNが20および100個の共変量の両方において、ほぼ名目水準の被覆率（93〜95％）と低バイアス（0.002未満）を達成した。
• 正則化（例：ドロップアウト）を適用しても被覆率は名目水準に近く保たれたが、非正則化モデルと比較してバイアスと信頼区間の長さが増加した。
• ダイレクトメールマーケティングへの実応用では、深層学習が従来手法を上回り、処置効果の推定において優れた性能を示した。
• 理論的結果は、選択モデル、動的離散選択、ゲーム推定を含む広範な半パラメトリックモデルに一般化可能である。