[論文レビュー] Explaining Practical Differences Between Treatment Effect Estimators with High Dimensional Asymptotics

Steve Yadlowsky|arXiv (Cornell University)|Mar 23, 2022

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

この論文は、古典的漸近理論における同等の漸近的効率性にもかかわらず、一般的に用いられる処置効果推定法（G-computation、IPW、AIPW、TMLE）が実務で分散の差を示す理由を説明する。高次元漸近論において、共変量の数 d が標本サイズ n と比例して増加する（d/n → κ ∈ (0,1)）と、機械学習ベースのヌイズパラメータ推定が消えない分散をもたらすことが示され、バイアスが小さい場合には G-computation と TMLE が他の手法を上回ることが判明。これは高次元的状況下での好ましい高次漸近的性質に起因する。

ABSTRACT

We revisit the classical causal inference problem of estimating the average treatment effect in the presence of fully observed confounding variables using two-stage semiparametric methods. In existing theoretical studies of methods such as G-computation, inverse propensity weighting (IPW), and two common doubly robust estimators -- augmented IPW (AIPW) and targeted maximum likelihood estimation (TMLE) -- they are either bias-dominated, or have similar asymptotic statistical properties. However, when applied to real datasets, they often appear to have notably different variance. We compare these methods when using a machine learning (ML) model to estimate the nuisance parameters of the semiparametric model, and highlight some of the important differences. When the outcome model estimates have little bias, which is common among some key ML models, G-computation and the TMLE outperforms the other estimators in both bias and variance. We show that the differences can be explained using high-dimensional statistical theory, where the number of confounders $d$ is of the same order as the sample size $n$. To make this theoretical problem tractable, we posit a generalized linear model for the effect of the confounders on the treatment assignment and outcomes. Despite making parametric assumptions, this setting is a useful surrogate for some machine learning methods used to adjust for confounding in two-stage semiparametric methods. In particular, the estimation of the first stage adds variance that does not vanish, forcing us to confront terms in the asymptotic expansion that normally are brushed aside as finite sample defects. However, our model emphasizes differences in performance between these estimators beyond first-order asymptotics.

研究の動機と目的

• 実世界の応用において一般的に用いられる処置効果推定法（G-computation、IPW、AIPW、TMLE）の実務的性能の差を説明すること。
• 古典的理論における類似した漸近的効率性にもかかわらず、有限標本におけるこれらの推定法が異なる分散を示す理由を調査すること。
• d/n → κ ∈ (0,1) となる高次元的漸近枠組みを構築し、分析を扱いやすくしながら機械学習ベースのヌイズパラメータ推定の主要な特徴を捉えること。
• 機械学習モデルを用いた共変量調整において、G-computation と TMLE が AIPW と IPW をバイアスと分散の両面で上回る条件を同定すること。
• 古典的理論では無視されがちな高次漸近項が、推定法の実務的性能差を理解するためにいかに重要であるかを示すこと。

提案手法

• 共変量の数 d が標本サイズ n に比例して増加する高次元的漸近モデルを提案（d/n → κ ∈ (0,1)）。
• 結果と処置のメカニズムにパラメトリックモデルを仮定：E[W|X] = h⁻¹(ηᵀX), E[Y(1)|X] = g⁻¹(β₁ᵀX), E[Y(0)|X] = g⁻¹(β₀ᵀX)。
• 簡潔さと解析可能性を高めるために線形モデル（恒等リンク）を用い、ヌイズパラメータの大きさが退化しないように保つ（ηᵀX = Θₚ(1)）。
• 全変動の法則を用いて推定されたヌイズパラメータに条件づけた残差項を分解することで、推定法の漸近的分散を分析する。
• オラクル推定法と AIPW 推定法の差の漸近的分散の明示的表現を導出し、ヌイズパラメータ推定の分散に依存することを示す。
• 逆ワイシャールト分布理論を適用して、逆グラム行列の期待値を計算し、ヌイズパラメータ推定の漸近的分散を導出する上で重要な役割を果たす。

実験結果

リサーチクエスチョン

• RQ1 理論的同等性にもかかわらず、G-computation と TMLE が実務で AIPW や IPW よりも優れているのはなぜか？
• RQ2 機械学習ベースのヌイズパラメータ推定は、高次元的状況下での有限標本における処置効果推定法の分散にどのように影響するか？
• RQ3 古典的理論では無視されがちな高次漸近項は、推定法間の実務的差を説明するために果たす役割は何か？
• RQ4 二重にロバストな推定法の漸近的性質は、どの高次元的状況でその古典的漸近的挙動と乖離するか？
• RQ5 比 d/n は、ヌイズパラメータが機械学習モデルで推定される場合、異なる処置効果推定法の相対的性能にどのように影響するか？

主な発見

• d/n → κ ∈ (0,1) となる高次元的漸近論において、ヌイズパラメータ推定の分散は消えないため、非漸近的効果が生じ、実務的性能差の説明が可能になる。
• 結果モデルの推定バイアスが小さい場合（一部の機械学習モデルで一般的）、G-computation と TMLE は AIPW や IPW よりも低い分散を達成する。
• オラクル推定法と AIPW 推定法の差の漸近的分散は、ヌイズパラメータ推定の分散と影響関数の分散の積のトレースに依存する。
• 逆グラム行列 ∑XᵢXᵢᵀ⁻¹ の期待値は Σ⁻¹/(N₁w − d − 1) として導出され、高次元的サンプリング下でのヌイズ推定のバイアスを定量化する。
• 正規分布の対称性により、対称な確率的ベクトル上の関数の積の期待値に正確な表現が得られ、残差項の分析が可能になる。
• 分析により、AIPW の性能はヌイズパラメータ推定の分散に敏感である一方、G-computation と TMLE は低バイアスの機械学習推定下でよりロバストであることが明らかになった。