[論文レビュー] On Deep Instrumental Variables Estimate

Ruiqi Liu, Zuofeng Shang+1 more|arXiv (Cornell University)|Apr 30, 2020

Statistical Methods and Inference参考文献 33被引用数 11

ひとこと要約

本稿は、深層ニューラルネットワーク（DNN）を用いた2段階推定量が、ややいisoftな条件下で半パラメトリック効率限界に達することを示すことで、Deep Instrumental Variables（Deep IV）の理論的基盤を提供する。最初の段階では、DNNを用いて次元に依存しない収束速度で最適なインスツルメンタル変数を推定し、その結果、2段階目の推定量が高次元または複雑構造のインスツルメンタル変数でさえも、√n漸近正規性と効率性を達成できる。

ABSTRACT

The endogeneity issue is fundamentally important as many empirical applications may suffer from the omission of explanatory variables, measurement error, or simultaneous causality. Recently, \cite{hllt17} propose a "Deep Instrumental Variable (IV)" framework based on deep neural networks to address endogeneity, demonstrating superior performances than existing approaches. The aim of this paper is to theoretically understand the empirical success of the Deep IV. Specifically, we consider a two-stage estimator using deep neural networks in the linear instrumental variables model. By imposing a latent structural assumption on the reduced form equation between endogenous variables and instrumental variables, the first-stage estimator can automatically capture this latent structure and converge to the optimal instruments at the minimax optimal rate, which is free of the dimension of instrumental variables and thus mitigates the curse of dimensionality. Additionally, in comparison with classical methods, due to the faster convergence rate of the first-stage estimator, the second-stage estimator has {a smaller (second order) estimation error} and requires a weaker condition on the smoothness of the optimal instruments. Given that the depth and width of the employed deep neural network are well chosen, we further show that the second-stage estimator achieves the semiparametric efficiency bound. Simulation studies on synthetic data and application to automobile market data confirm our theory.

研究の動機と目的

• 高次元または複雑構造のインスツルメンタル変数を伴う内生性を扱うDeep IVの経験的成果を理論的に説明すること。
• 一般の構成的構造仮定の下で、深層ニューラルネットワークを用いた2段階推定量が半パラメトリック効率限界に達することを確立すること。
• 最初の段階におけるDNN推定量が、インスツルメンタル変数の次元に依存しない最小最大最適収束速度を達成することを示すこと。これは次元の呪いを克服する。
• 古典的手法と比較して、2段階目の推定量がより小さい2次推定誤差と弱い滑らかさ要件を満たすことの証明。
• シミュレーションと自動車市場データへの応用を通じて理論的発見の妥当性を検証すること。

提案手法

• 2段階推定量を提案：最初の段階でDNNがインスツルメンタル変数と内生的変数から最適なインスツルメンタル変数を推定し、2段階目でOLSが推定されたインスツルメンタル変数を用いて線形係数を推定する。
• 最初の段階におけるDNN推定量の次元フリー収束を可能にするために、簡素化形式方程式に潜在的構成的構造仮定を課す。
• DNN推定量の収束速度が、標本サイズと深さと幅の積にのみ依存し、インスツルメンタル変数の数に依存しない最小最大最適であることを導出する。
• 最初の段階で完全結合ReLU深層ニューラルネットを用い、明示的な構造的仮定なしに複雑な関数形を柔軟に捉える。
• 深さ、幅、または両方が標本サイズとともに発散する条件の下で、2段階目の推定量の漸近正規性と半パラメトリック効率性を確立する。
• 推定誤差を制御するためにバイアス・バリアンス分解とマルティンガール型の議論を用い、最初の段階におけるDNN推定量の高速収束を活用する。

実験結果

リサーチクエスチョン

• RQ1 2段階枠組みにおける深層ニューラルネットワークは、内生的回帰における線形インスツルメンタル変数モデルで、半パラメトリック効率限界に達することができるか？
• RQ2 最初の段階における深層学習の使用は、高次元インスツルメンタル変数における次元の呪いを克服できるか？
• RQ3 DNNに基づく最初の段階推定量の収束速度は、インスツルメンタル変数の数に依存する程度が、古典的非パラメトリック推定量と比較してどう異なるか？
• RQ4 2段階目の推定量が√n漸近正規性と効率性を達成する条件は何か？
• RQ5 提案手法は、古典的手法（系列推定量やカーネル推定量）と比較して、2次推定誤差をどのように低減するか？

主な発見

• 最初の段階におけるDNN推定量は、深さと幅の積が標本サイズの多項式に比例する限り、インスツルメンタル変数の次元に依存しない最小最大最適収束速度を達成する。
• 深さ、幅、およびインスツルメンタル変数の数の積が標本サイズの多項式に比例する場合、2段階目の推定量は半パラメトリック効率限界に達する。
• 最初の段階におけるDNN推定量の高速収束のおかげで、2段階目の推定量は古典的手法よりも小さい2次推定誤差を持つことが、ChengとKosorok（2008）の形式化に従って示された。
• 古典的手法の系列推定量がインスツルメンタル変数の次元の半分より大きい滑らかさを要件とするのに対し、本手法は最適インスツルメンタル変数の滑らかさ要件が弱い。
• シミュレーションと自動車市場データへの実応用により、理論的予測が確認され、有限標本における性能向上と高次元インスツルメンタル変数へのロバストネスが示された。
• 理論的枠組みにより、DNNが明示的なモデル化なしに複雑な構造を捉える能力のおかげで、効率的かつ一貫した推論が達成されることを正当化した。