[論文レビュー] Automatic Debiased Machine Learning via Riesz Regression

Victor Chernozhukov, Whitney K. Newey+2 more|arXiv (Cornell University)|Apr 30, 2021

Neural Networks and Applications被引用数 9

ひとこと要約

本稿は、バイアス補正項を推定するためのニューラルネットワークを用いた、一般化線形回帰のパラメータに対する自動的バイアス補正機械学習フレームワークを提案する。Neyman直交的モーメント関数を構築し、補正関数の学習者に対する収束速度を提供することで、最小限のモデリング仮定のもとで漸近正規性と有効な推論を達成する。

ABSTRACT

A variety of interesting parameters may depend on high dimensional regressions. Machine learning can be used to estimate such parameters. However estimators based on machine learners can be severely biased by regularization and/or model selection. Debiased machine learning uses Neyman orthogonal estimating equations to reduce such biases. Debiased machine learning generally requires estimation of unknown Riesz representers. A primary innovation of this paper is to provide Riesz regression estimators of Riesz representers that depend on the parameter of interest, rather than explicit formulae, and that can employ any machine learner, including neural nets and random forests. End-to-end algorithms emerge where the researcher chooses the parameter of interest and the machine learner and the debiasing follows automatically. Another innovation here is debiased machine learners of parameters depending on generalized regressions, including high-dimensional generalized linear models. An empirical example of automatic debiased machine learning using neural nets is given. We find in Monte Carlo examples that automatic debiasing sometimes performs better than debiasing via inverse propensity scores and never worse. Finite sample mean square error bounds for Riesz regression estimators and asymptotic theory are also given.

研究の動機と目的

• 高次元的・非線形的回帰設定において、標準的な機械学習手法が導入するバイアスが信頼区間を損なうという課題に対処する。
• 補正関数の形についての明示的知識を必要としない、モデルフリーで自動的なバイアス補正項の推定手法を開発する。
• 回帰関数と補正関数の学習者に対するレート条件を組み合わせ、交差適合（cross-fitting）を用いることで、関心パラメータの漸近正規性と一貫した分散推定を保証する。
• 最小限の正則性仮定のもとで、因果効果や政策効果を含む一般化線形回帰を扱えるように、既存のバイアス補正学習フレームワークを一般化する。
• 臨界半径と近似レート理論を用いて、バイアス補正関数のニューラルネット学習者に対する収束速度を提供する。

提案手法

• 識別モーメントに回帰残差と補正関数 $\alpha_0$ の積を加えることで、回帰の影響がモーメントに一次効果を持たないNeyman直交的モーメント関数を構築する。
• 真の $\alpha_0$ で最小化される目的関数を定義し、関心対象と回帰残差にのみ依存する形にすることで、自動学習を可能にする。
• データを用いて目的関数を非パラメトリックに推定し、それを最小化することで $\alpha_0$ のニューラルネット学習者を獲得する。収束速度は臨界半径と近似レート条件から導出される。
• 交差適合を用いることで、モデル選択によるバイアスを排除し、回帰学習者にDonsker型の条件を課さずに、誤指定下でもロバスト性を向上させる。
• 回帰学習者と $\alpha_0$ 学習者の収束レートの積が $n^{-1/2}$ より速く減少する条件下で、関心パラメータの推定値が漸近正規であり、分散推定が一貫していることを確立する。
• FosterとSyrgkanis（2019）およびFarrellら（2021）の結果を応用し、ネットワークの幅、深さ、入力次元、回帰関数の滑らかさに基づいたニューラルネットの収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般化線形回帰に依存するパラメータのためのバイアス補正機械学習推定量を構築できるか。特に、高次元的・非線形的・おそらく誤指定された回帰に対してもロバストであるか。
• RQ2 補正関数 $\alpha_0$ の関数的形についての事前知識がなくとも、関心対象と回帰残差のみを用いて、自動的に $\alpha_0$ を学習できるか。
• RQ3 ニューラルネット学習者による $\alpha_0$ の収束速度はどの程度達成可能か。ネットワークアーキテクチャおよび潜在的な回帰関数の滑らかさにどのように依存するか。
• RQ4 関心パラメータの最終推定量が漸近正規であり、分散推定が一貫しているのはどのような条件下か。
• RQ5 交差適合を用いることで、モデル選択によるバイアスを排除し、回帰学習者にDonsker条件を課さずにロバスト推論を保証できるか。

主な発見

• 回帰学習者と $\alpha_0$ 学習者の平均二乗収束レートの積が $n^{-1/2}$ より速く減少する条件下で、パラメータ推定量が漸近正規であることを達成する。
• 非線形パラメータまたは非線形残差の場合、回帰学習者は平均二乗で $n^{-1/4}$ より速く収束する必要があり、バイアス補正に十分な精度を確保する。
• $\alpha_0$ のニューラルネット学習者では、臨界半径と近似レート理論に基づき、ネットワークの幅、深さ、入力次元、回帰関数の滑らかさに依存する収束速度が達成される。
• 交差適合は、モデル選択によるバイアスを効果的に除去し、回帰学習者にDonsker条件を課す必要をなくす。これにより、ロバスト性が向上する。
• モーメント関数のNeyman直交的構造のおかげで、モデル誤指定下でも分散推定の一貫性と漸近正規性が保証される。
• 有界性、収束速度、モーメント条件に関する仮定に依拠した、漸近正規性と一貫した分散推定の証明を通じて、理論的結果が妥当性を確認される。