[논문 리뷰] Explaining Practical Differences Between Treatment Effect Estimators with High Dimensional Asymptotics

Steve Yadlowsky|arXiv (Cornell University)|2022. 03. 23.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 고전적 대칭표본 이론에서 동일한 점근적 효율성을 가지지만, 실제로는 분산에서 실질적인 차이를 보이는 일반적으로 사용되는 치료효과 추정기—G-computation, IPW, AIPW, TMLE—의 이유를 설명한다. 표본 크기 n과 조정 변수 수 d가 비율 d/n → κ ∈ (0,1)로 증가하는 고차원 점근적 분석을 통해, 기계학습 기반의 부수적 파라미터 추정이 점진적으로 사라지지 않는 분산을 유도함을 보여주며, 이는 고차원 환경에서 G-computation과 TMLE가 편향이 낮을 경우 다른 추정기보다 더 우수한 성능을 보이는 이유를 설명한다. 이는 고차원 환경에서의 유리한 고차수 점근적 성질 때문이며, 기존 이론에서 간과되는 고차수 항들이 실질적인 추정기 성능의 차이를 이해하는 데 핵심적임을 시사한다.

ABSTRACT

We revisit the classical causal inference problem of estimating the average treatment effect in the presence of fully observed confounding variables using two-stage semiparametric methods. In existing theoretical studies of methods such as G-computation, inverse propensity weighting (IPW), and two common doubly robust estimators -- augmented IPW (AIPW) and targeted maximum likelihood estimation (TMLE) -- they are either bias-dominated, or have similar asymptotic statistical properties. However, when applied to real datasets, they often appear to have notably different variance. We compare these methods when using a machine learning (ML) model to estimate the nuisance parameters of the semiparametric model, and highlight some of the important differences. When the outcome model estimates have little bias, which is common among some key ML models, G-computation and the TMLE outperforms the other estimators in both bias and variance. We show that the differences can be explained using high-dimensional statistical theory, where the number of confounders $d$ is of the same order as the sample size $n$. To make this theoretical problem tractable, we posit a generalized linear model for the effect of the confounders on the treatment assignment and outcomes. Despite making parametric assumptions, this setting is a useful surrogate for some machine learning methods used to adjust for confounding in two-stage semiparametric methods. In particular, the estimation of the first stage adds variance that does not vanish, forcing us to confront terms in the asymptotic expansion that normally are brushed aside as finite sample defects. However, our model emphasizes differences in performance between these estimators beyond first-order asymptotics.

연구 동기 및 목표

• 실세계 응용에서 일반적으로 사용되는 치료효과 추정기(G-computation, IPW, AIPW, TMLE) 간 실질적 성능 차이를 설명하는 것.
• 고전적 이론에서 유사한 점근적 효율성을 가지지만 유한 표본에서 분산이 상이하게 나타나는 이유를 조사하는 것.
• d/n → κ ∈ (0,1)인 고차원 점근적 프레임워크를 개발하여, 기계학습 기반 부수적 파라미터 추정의 핵심 특징을 반영하면서도 분석이 가능하도록 하는 것.
• 기계학습 모델을 사용한 조정 변수 조정 시, G-computation과 TMLE가 AIPW와 IPW보다 편향과 분산 측면에서 더 뛰어난 성능을 보이는 조건을 규명하는 것.
• 기존 고전적 이론에서 무시되는 고차수 점근적 항들이 추정기 성능의 실질적 차이를 이해하는 데 핵심적임을 보여주는 것.

제안 방법

• 표본 크기 n과 조정 변수 수 d가 비율 d/n → κ ∈ (0,1)로 증가하는 고차원 점근적 모델을 제안한다.
• 결과 및 치료 메커니즘에 대한 파라미터 모델을 가정한다: E[W|X] = h⁻¹(ηᵀX), E[Y(1)|X] = g⁻¹(β₁ᵀX), E[Y(0)|X] = g⁻¹(β₀ᵀX).
• 간편성과 분석 가능성을 확보하기 위해 선형 모델(항등 링크)을 사용하면서도, 부수적 파라미터의 크기가 0이 아닌 상태(ηᵀX = Θₚ(1))를 유지한다.
• 잔차 항을 분해하고 추정된 부수적 파라미터에 조건부로 조건부 분산 법칙을 적용하여 추정기의 점근적 분산을 분석한다.
• 오라클 추정기와 AIPW 추정기 간의 점근적 분산을 명시적으로 유도하며, 이는 부수적 파라미터 추정의 분산에 의존함을 보여준다.
• 역 위샤르트 분포 이론을 적용하여, 부수적 파라미터 추정기의 점근적 분산 유도에 핵심적인 역할을 하는 역 그램 행렬의 기대값을 계산한다.

실험 결과

연구 질문

• RQ1 오라클 추정기와 AIPW 추정기 간의 이론적 효율성은 동일하지만, 실질적으로 G-computation과 TMLE가 더 뛰어난 성능을 보이는 이유는 무엇인가?
• RQ2 기계학습 기반 부수적 파라미터 추정이 고차원 환경에서의 유한 표본 분산에 어떻게 영향을 미치는가?
• RQ3 기존 고전적 이론에서 일반적으로 간과되는 고차수 점근적 항들은 추정기 간 실질적 성능 차이를 설명하는 데 어떤 역할을 하는가?
• RQ4 이중로버스트 추정기의 점근적 성질이 고전적 대칭표본 이론과 다를 수 있는 고차원 환경은 어떤가?
• RQ5 표본 크기 대 조정 변수 수 비율 d/n이 기계학습 기반 부수적 파라미터 추정을 사용할 때 다양한 치료효과 추정기의 상대적 성능에 어떻게 영향을 미치는가?

주요 결과

• d/n → κ ∈ (0,1)인 고차원 점근적 환경에서, 부수적 파라미터 추정의 분산이 점차 사라지지 않아, 실질적인 성능 차이를 설명하는 비점근적 영향이 발생한다.
• 결과 모델의 추정 편향이 낮을 경우(일부 기계학습 모델에서 흔한 경우), G-computation과 TMLE는 AIPW와 IPW보다 더 낮은 분산을 달성한다.
• 오라클 추정기와 AIPW 추정기 간의 점근적 분산은 부수적 파라미터 추정의 분산과 영향 함수 분산의 곱의 트레이스에 의해 결정된다.
• 역 그램 행렬 ∑XᵢXᵢᵀ⁻¹의 기대값은 Σ⁻¹/(N₁w − d − 1)로 유도되며, 이는 고차원 샘플링 하에서 부수적 추정기의 편향을 정량화한다.
• 정규 분포의 대칭성 덕분에 대칭 랜덤 벡터 위에서 함수의 곱 기대값에 대한 정확한 표현을 유도할 수 있으며, 이는 잔차 항 분석에 기여한다.
• 분석 결과, AIPW의 성능은 부수적 파라미터 추정의 분산에 민감한 반면, G-computation과 TMLE는 낮은 편향 기계학습 추정 하에서 더 견고함을 드러낸다.