[論文レビュー] Double/Debiased Machine Learning for Treatment and Causal Parameters

Victor Chernozhukov, Denis Chetverikov+5 more|arXiv (Cornell University)|Jul 30, 2016

Statistical Methods and Inference参考文献 75被引用数 49

ひとこと要約

この論文は、ネイマン直交 estimating equations とクロスフィットを用いて、高次元モデルにおける低次元因果パラメータの根N一貫推定および妥当な推論を可能にする、ダブル/デバイアスド機械学習（DML）を導入する。この手法は、lasso やランダムフォレスト、ニューラルネットワークなどの柔軟な機械学習手法を用いても、正則化バイアスや過学習によるバイアスを除去し、漸近正規性および妥当な信頼区間を保証する。

ABSTRACT

Most modern supervised statistical/machine learning (ML) methods are explicitly designed to solve prediction problems very well. Achieving this goal does not imply that these methods automatically deliver good estimators of causal parameters. Examples of such parameters include individual regression coefficients, average treatment effects, average lifts, and demand or supply elasticities. In fact, estimates of such causal parameters obtained via naively plugging ML estimators into estimating equations for such parameters can behave very poorly due to the regularization bias. Fortunately, this regularization bias can be removed by solving auxiliary prediction problems via ML tools. Specifically, we can form an orthogonal score for the target low-dimensional parameter by combining auxiliary and main ML predictions. The score is then used to build a de-biased estimator of the target parameter which typically will converge at the fastest possible 1/root(n) rate and be approximately unbiased and normal, and from which valid confidence intervals for these parameters of interest may be constructed. The resulting method thus could be called a "double ML" method because it relies on estimating primary and auxiliary predictive models. In order to avoid overfitting, our construction also makes use of the K-fold sample splitting, which we call cross-fitting. This allows us to use a very broad set of ML predictive methods in solving the auxiliary and main prediction problems, such as random forest, lasso, ridge, deep neural nets, boosted trees, as well as various hybrids and aggregators of these methods.

研究の動機と目的

• 高次元のヌイアンスパラメータを現代の機械学習手法で推定する際のバイアスの問題に対処すること。
• 正則化バイアスや過学習が高次元設定で生じるにもかかわらず、推定量の根N一貫性と漸近正規性を保証する一般化されたフレームワークの構築。
• lasso やランダムフォレスト、ニューラルネットワークなどの柔軟な機械学習手法を、因果推論におけるヌイアンス関数の推定に活用可能にすること。ただし、推論の妥当性を損なわないようにする。
• 現代の高次元データ環境における処置効果や構造的パラメータの推論のための理論的裏付けが強く、実用的な手法の提供。

提案手法

• ヌイアンスパラメータ推定のわずかな誤差に対してもロバストなネイマン直交 estimating equations を使用。高次元設定における推定誤差への感受性を低減。
• クロスフィット（データ分割）を採用。複数のデータ分割の平均を取ることで、過学習バイアスを低減し、推定の効率性を向上。
• lasso やリッジ、ランダムフォレスト、ブースティングツリー、ニューラルネットワークなどの機械学習手法を、条件付き平均や条件付き介入確率スコアなどの高次元ヌイアンス関数の推定に適用。
• 2段階推定手順を実装：まず機械学習を用いてヌイアンスパラメータを推定し、次にデバイアスド estimating equations を用いて、関心パラメータの根N一貫性と漸近正規性を満たす推定量を取得。
• 複数のサンプル分割における標準誤差をメジアンで推定することで、データ分割のばらつきを考慮。推論のロバスト性を向上。
• 部分線形回帰、インスツルメンタル変数、共変量の交絡がない仮定下での平均処置効果推定など、多様なモデルにフレームワークを適用。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、機械学習手法を用いてヌイアンスパラメータを推定しても、低次元因果パラメータの推定にバイアスが生じないか、信頼できるか。
• RQ2 高次元ヌイアンスパラメータの推定における正則化バイアスや過学習バイアスをどのように是正すれば、関心パラメータの妥当な推論が可能になるか。
• RQ3 柔軟な機械学習手法を用いてヌイアンス関数を推定する際、因果パラメータの推定量が根N一貫性と漸近正規性を満たすための条件は何か。
• RQ4 実際の応用において、機械学習手法の選択（例：lasso とランダムフォレスト）が、因果パラメータの最終的な推論にどの程度影響を及えるか。
• RQ5 クロスフィットにおけるデータ分割の不確実性を、標準誤差推定に適切に組み込む方法は何か。これにより、妥当な信頼区間が維持されるか。

主な発見

• DML は、ヌイアンスパラメータを高次元機械学習手法で推定しても、関心パラメータの根N一貫性と漸近正規性を達成する。
• この手法は、正則化バイアスや過学習に起因するバイアスを効果的に除去し、妥当な信頼区間や仮説検定を可能にする。
• 実応用の結果、異なる機械学習手法間で一貫した推定結果が得られ、サンプル分割のばらつきを考慮した標準誤差は上昇するが、結論は質的に変わらない。
• 401(k) 退職貯蓄の例では、DML は退職貯蓄参加への処置効果を 11.5 パcent（標準誤差：0.34）として正の有意な効果を推定した。
• 制度の質と経済成長の関係の例では、DML は制度の質が生産に正の有意な効果を持つと推定し、係数は 1.10（標準誤差：0.46）であった。これは先行研究の結果と整合的であり、推論のロバスト性が向上した。
• 5分割クロスフィットは2分割クロスフィットに比べて標準誤差が大きくなる傾向にあり、分割数が推論の精度に影響を与えることが示唆されたが、結果の質的傾向は手法間で類似していた。