[논문 리뷰] Nonparametric estimation of causal heterogeneity under high-dimensional confounding

Michael Zimmert, Michael Lechner|arXiv (Cornell University)|2019. 08. 23.

Advanced Causal Inference Techniques참고 문헌 33인용 수 26

한 줄 요약

이 논문은 고차원적 교란요인 하에서 군 평균 치료효과(GATE)의 비모수적 추정을 위한 이단계 기계학습 기반 추정기 방법을 제안한다. 이는 교란요인 보정과 효과 이질성 추정을 분리한다. 일致성, 점근적 정규성, 속도 이重보상성(드러운 이중보상성)을 확립하였으며, 최종 ATE 추정기는 GATE의 평균을 취하여 반사적 효율성을 달성한다.

ABSTRACT

This paper considers the practically important case of nonparametrically estimating heterogeneous average treatment effects that vary with a limited number of discrete and continuous covariates in a selection-on-observables framework where the number of possible confounders is very large. We propose a two-step estimator for which the first step is estimated by machine learning. We show that this estimator has desirable statistical properties like consistency, asymptotic normality and rate double robustness. In particular, we derive the coupled convergence conditions between the nonparametric and the machine learning steps. We also show that estimating population average treatment effects by averaging the estimated heterogeneous effects is semi-parametrically efficient. The new estimator is an empirical example of the effects of mothers' smoking during pregnancy on the resulting birth weight.

연구 동기 및 목표

• 잠재적 교란요인의 수가 매우 클 경우 인과효과 이질성 추정의 과제를 해결한다.
• 고차원적 예측변수 공간에서 전통적인 비모수적 회귀의 한계를 극복하기 위해 교란요인 보정과 효과 이질성 추정을 분리한다.
• 기본적인 관심 공변량의 소수 집합을 기반으로 비모수적 접근을 개발하여 GATE를 추정하며, 고차원적 교란요인은 기계학습을 통해 처리한다.
• 기계학습 단계와 비모수적 추정 단계 간의 결합 수렴 조건을 유도하여 통계적 효율성과 강건성을 확보한다.
• 추정된 GATE의 평균을 취할 경우 반사적 효율성을 갖는 ATE 추정기가 도출됨을 보여주며, 유한표본에서 기존 IPW 및 AIPW 방법보다 우수하다.

제안 방법

• 이단계 절차를 사용: 첫 번째 단계에서 Lasso, Ridge, Elastic Net, Random Forest 등의 기계학습 방법을 사용해 성향스코어와 결과 회귀를 추정하여 고차원적 교란요인을 보정한다.
• 두 번째 단계에서 커널 스무딩 또는 유사한 비모수적 회귀를 사용해 주요 관심 공변량(이산형 및 연속형)에 대해 비모수적으로 GATE를 추정한다.
• 기계학습 단계와 비모수적 추정 단계가 함께 최적 속도로 수렴하도록 보장하는 결합 수렴 조건을 도출한다.
• 추정된 GATE의 평균을 취해 세 단계 ATE 추정기를 구성하며, 정규성 조건 하에서 반사적 효율성이 입증된다.
• Lasso, Ridge, Elastic Net, Random Forest의 가중 조합 등 앙상블 학습을 사용해 낭비 파rameter 추정을 향상시키고 평균제곱오차를 감소시킨다.
• 표본 크기가 유한할 때 성능을 비교하기 위해 증강된 역확률가중치(AIPW)와 역확률가중치(IPW)를 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 교란요인의 수가 매우 클 경우 이단계 기계학습 기반 추정기가 GATE의 일관성과 점근적 정규성을 달성할 수 있는가?
• RQ2 기계학습 단계와 비모수적 GATE 추정 단계 간의 결합 수렴 조건은 무엇이며, 이는 최적의 수렴 속도를 보장하는가?
• RQ3 추정된 GATE의 평균을 취할 경우 고차원적 교란요인 하에서 반사적 효율성을 갖는 ATE 추정기가 도출되는가?
• RQ4 유한표본에서 제안된 방법이 표준 IPW 및 AIPW 추정기와 비교해 편향, 표준오차, 표본 성능 측면에서 어떻게 다른가?
• RQ5 제안된 프레임워크는 공변량 기반 원인분석, 차이의 차이(DID), 또는 연속적 치료와 같은 다른 설정으로 확장 가능한가?

주요 결과

• 제안된 이단계 추정기는 기계학습 단계와 비모수적 추정 단계 간의 결합 수렴 조건 하에서 일관성, 점근적 정규성, 속도 이중보상성을 확보한다.
• 추정된 GATE의 평균을 취해 도출된 ATE 추정기는 반사적 효율성을 입증받으며, 반사적 효율성 경계에 도달한다.
• 모성 흡연과 출생 체중 간의 실증 분석 결과, AIPW 기반 앙상블 추정기는 점추정치 -234.826, 표준오차 27.257을 보이며, 비모수적 및 IPW 기반 대안보다 뛰어난 성능을 보였다.
• IPW 기반 추정기는 표준오차 45.110으로 과도하게 증가했으며, 고차원적 교란요인 하에서 성능이 열 劣하다는 것을 시사한다.
• 비모수적 AIPW 추정기는 점추정치 -242.990, 표준오차 25.885를 보였지만, 앙상블 기반 AIPW 추정기는 더 강건하고 효율적이다.
• 부드러운 세 단계 추정기는 직접적인 효율성 스코어 평균화와 점근적으로 동일하지만, 성향스코어 가중치 의존도를 감소시켜 더 우수한 유한표본 성질을 제공할 수 있다.