[論文レビュー] Estimation and Inference about Conditional Average Treatment Effect and Other Structural Functions

Vira Semenova, Victor Chernozhukov|arXiv (Cornell University)|Feb 21, 2017

Advanced Causal Inference Techniques被引用数 9

ひとこと要約

本論文は、高次元の制御変数が存在する状況下で、条件付き平均処置効果などの低次元非パラメトリック関数の推定および有効な統計的推論を行うための二重ロバスト推論フレームワークを開発する。機械学習を用いて推定される正規化関数に対して信号を直交化することにより、正規化関数が既知であるかのように漸近的に正規分布に従う推論を達成し、GATEなどの構造的関数に対する有効な推論を可能にする。

ABSTRACT

Our framework can be viewed as inference on low-dimensional nonparametric functions in the presence of high-dimensional nuisance function (where dimensionality refers to the number of covariates). Specifically, we consider the setting where we have a signal $Y=Y(\eta_0)$ that is an unbiased predictor of causal/structural objects like treatment effect, structural derivative, outcome given treatment, and others, conditional on a set of very high dimensional controls $Z$. We are interested in simpler lower-dimensional nonparametric summaries of $Y$, namely $g(x)=E[Y|X=x]$ conditional on a low-dimensional subset of covariates $X$. The signal $Y=Y(\eta)$ depends on an unknown nuisance function $\eta_0(Z)$. In the first stage, we need to learn the function $\eta_0(Z)$ using any machine learning method that is able to approximate $\eta$ accurately under very high dimensionality of $Z$. For example, under approximate sparsity with respect to a dictionary, $\ell_1$-penalized methods can be used; in others, tools such as deep neural networks can be used. To make the subsequent inference valid, we make the signal orthogonal to perturbations of $\eta$. As a result, the second-stage low-dimensional nonparametric inference enjoys the quasi-oracle properties, as if we knew $\eta_0$. In the second stage, we approximate the target function $g(x)$ by a linear form $p(x)'\beta_0$, where $\beta_0$ is the Best Linear Predictor parameter. We develop a complete set of results about estimation and approximately Gaussian inference on $x \mapsto p(x)'\beta$ and $x \mapsto g(x)$. If $p(x)$ is sufficiently rich and $g(x)$ admits a good approximation, then $g(x)$ gets automatically targeted by the inference; otherwise, the best linear approximation $p(x)'\beta$ to $g(x)$ gets targeted. When $p(x)$ is specified as a collection of group indicators, $p(x)'\beta$ describes group-average treatment effects (GATEs).

研究の動機と目的

• 高次元の制御変数が存在する状況下で、構造的関数の低次元非パラメトリック要約に対する有効な統計的推論を可能にすること。
• 因果推論の文脈において、高次元の正規化関数による推定バイアスの課題に対処すること。
• 正規化関数が高次元データから推定されても、条件付き平均処置効果のような関数に対して漸近的に正規な推論を達成する手法を開発すること。
• 高次元の正規化成分の推定手法にかかわらず、構造的関数に対する推論がロバストかつ効率的であることを保証すること。
• 処置効果、構造的導関数、アウトカム回帰などのさまざまな構造的関数に一般に適用可能なフレームワークを提供すること。

提案手法

• 本手法は問題を二段階に分解する：まず、lasso や深層ニューラルネットワークなどの機械学習手法を用いて高次元の正規化関数 η₀(Z) を推定する。
• 信号 Y(η) は η の摂動に対して直交化されており、η の推定誤差がターゲットパrameterの漸近的分布に影響しないことを保証する。
• 第二段階では、ターゲット関数 g(x) = E[Y|X=x] が基底関数 p(x) と係数 β₀ の線形形式 p(x)'β₀ で近似される。
• 推定誤差 η₀ に対してロバストであるように、Neyman-直交 estimating equation を用いることで、β₀ の推定が正規化され、漸近的正規性が達成される。
• 本手法は g(x) の滑らかさに適応する：g(x) が p(x)'β でよく近似できる場合、g(x) がターゲットとなる。それ以外の場合は、g(x) の最良の線形近似がターゲットとなる。
• p(x) がグループ指標で構成される場合、本手法はグループ平均処置効果（GATEs）を有効な推論で推定する。

実験結果

リサーチクエスチョン

• RQ1 高次元の制御変数が存在する状況下で、低次元非パラメトリック関数に対する有効な漸近的正規推論を達成できるか？
• RQ2 正規化関数の推定がターゲット構造的関数の推論にバイアスを及えないようにするにはどうすればよいか？
• RQ3 本手法が真の条件付き平均処置効果をターゲットとし、単にその最良の線形近似をターゲットとしない条件は何か？
• RQ4 推定方程式の直交化が、高次元正規化推定に対するロバスト性をどのように向上させるか？
• RQ5 本フレームワークは、処置効果を越えて、さまざまな構造的関数に一般に適用可能か？

主な発見

• 直交化のおかげで、g(x) = E[Y|X=x] の推定は、高次元の正規化関数 η₀ が既知であるかのように漸近的に正規分布に従う。
• 推定誤差が適切なノルムで小さい限り、η₀ の推定誤差に対して推論がロバストであり、有効な信頼区間や仮説検定が可能になる。
• 基底関数 p(x) が十分に豊富であれば、本手法は真の g(x) をターゲットとする。そうでなければ、g(x) の最良の線形近似をターゲットとする。
• p(x) がグループ指標で定義される場合、本フレームワークはグループ平均処置効果（GATEs）に対する有効な推論をサポートする。
• 直交推定方程式の使用のおかげで、高次元 Z に対しても推定と推論において準オラクル性を維持する。
• 本手法は、処置効果、構造的導関数、アウトカム回帰など、さまざまな構造的関数に一般に適用可能である。