[論文レビュー] Automatic Debiased Machine Learning via Neural Nets for Generalized Linear Regression

Victor Chernozhukov, Whitney K. Newey+2 more|arXiv (Cornell University)|Jan 1, 2021

Statistical Methods and Inference参考文献 77被引用数 5

ひとこと要約

本稿では、残差が回帰変数と直交する一般化線形回帰モデルにおけるパラメータ推定のための、自動的でニューラルネットワークベースのバイアス補正が施された機械学習フレームワークを提案する。このフレームワークは、目的変数と残差のみを用いて、エンド・ツー・エンドにバイアス補正を学習することで、漸近正規性と一貫した分散推定を達成する。ニューラルネットと一般の学習者に対する収束速度についても、確立されたレートが得られる。

ABSTRACT

We give debiased machine learners of parameters of interest that depend on generalized linear regressions, which regressions make a residual orthogonal to regressors. The parameters of interest include many causal and policy effects. We give neural net learners of the bias correction that are automatic in only depending on the object of interest and the regression residual. Convergence rates are given for these neural nets and for more general learners of the bias correction. We also give conditions for asymptotic normality and consistent asymptotic variance estimation of the learner of the object of interest.

研究の動機と目的

• 一般化線形回帰モデルにおける注目パラメータの完全自動的バイアス補正機械学習手法の開発を目的とする。
• 注目対象と回帰の残差にのみ依存することで、バイアス補正の手動チューニングを排除することを目的とする。
• ニューラルネットによるバイアス補正の学習者と一般の学習者に対する収束速度を確立することを目的とする。
• 注目パラメータの最終推定量について、漸近正規性と一貫した漸近分散推定を保証することを目的とする。

提案手法

• 本手法は、残差と注目対象から直接バイアス補正項を学習するニューラルネットを構築する。
• 残差と回帰変数の直交性を活用することで、一般化線形モデルにおける有効な推論を保証する。
• ニューラルネットはバイアス補正のインパルス関数を近似するように訓練され、外部のチューニングなしに自動的に適応可能となる。
• 正則性条件の下で、バイアス補正のニューラルネット学習者および一般学習者の収束速度が導出される。
• モデルおよびニューラルネットアーキテクチャに関するやや弱いモーメントと滑らかさの条件の下で、最終推定量の漸近正規性が確立される。
• 学習済みバイアス補正を用いたプラグインアプローチにより、漸近分散の一貫した推定が達成される。

実験結果

リサーチクエスチョン

• RQ1 一般化線形モデルにおけるバイアス補正の自動学習に、ニューラルネットを用いることは可能か？
• RQ2 この設定下で、ニューラルネットベースのバイアス補正学習者の収束速度は何か？
• RQ3 注目パラメータの最終推定量が漸近正規性を満たす条件は何か？
• RQ4 バイアス補正の手動指定を必要とせずに、漸近分散の一貫した推定が達成可能か？
• RQ5 残差が回帰変数と直交する場合、本手法はどのようにして有効な推論を保証するか？

主な発見

• 提案されたニューラルネットベースのバイアス補正は、一般化線形モデルの文脈で既知の一般のバイアス補正学習者と同等の収束速度を達成する。
• モデルおよびニューラルネットアーキテクチャに関する正則性条件の下で、最終推定量の漸近正規性が確立される。
• 学習済みバイアス補正を用いることで、漸近分散の一貫した推定が可能となり、有効な推論が可能となる。
• 本手法は完全に自動的であり、バイアス補正部の手動チューニングを一切不要とし、注目対象と残差のみを入力とすればよい。
• 因果効果や政策効果の推定が、一般化線形回帰構造に埋め込まれることで可能となる。