[논문 리뷰] Estimation of Conditional Average Treatment Effects with High-Dimensional Data

Qingliang Fan, Yu‐Chin Hsu외 2명|arXiv (Cornell University)|2019. 08. 06.

Advanced Causal Inference Techniques참고 문헌 29인용 수 13

한 줄 요약

이 논문은 무관측성 조건 하에 고차원 설정에서 조건부 평균 치료 효과(CATE)를 추정하기 위해 이단계 기계학습 접근법을 제안한다. 고차원의 부수적 함수 추정을 기계학습을 통해 수행한 후, 저차원 국소 선형 회귀를 통해 차원이 감소된 CATE 함수를 도출하며, 이론적 보장과 승수 부트스트랩을 통한 균일 추론을 제공한다. 시뮬레이션과 모체 흡연이 출생 체중에 미치는 영향에 대한 실증 적용에서 뛰어난 성능을 보였다.

ABSTRACT

Given the unconfoundedness assumption, we propose new nonparametric estimators for the reduced dimensional conditional average treatment effect (CATE) function. In the first stage, the nuisance functions necessary for identifying CATE are estimated by machine learning methods, allowing the number of covariates to be comparable to or larger than the sample size. The second stage consists of a low-dimensional local linear regression, reducing CATE to a function of the covariate(s) of interest. We consider two variants of the estimator depending on whether the nuisance functions are estimated over the full sample or over a hold-out sample. Building on Belloni at al. (2017) and Chernozhukov et al. (2018), we derive functional limit theory for the estimators and provide an easy-to-implement procedure for uniform inference based on the multiplier bootstrap. The empirical application revisits the effect of maternal smoking on a baby's birth weight as a function of the mother's age.

연구 동기 및 목표

• 표본 크기 대비 공변량 수가 많을 때 이질적 치료 효과를 추정하는 데 도전 과제를 해결하기 위해.
• 고차원 공변량을 관심 공변량(들)의 다루기 쉬운 함수로 감소시키는 조건부 평균 치료 효과(CATE)의 비모수적 추정기법을 개발하기 위해.
• 고차원 부수적 매개변수 존재하에서도 CATE 함수에 대한 타당한 균일 추론을 보장하기 위해.
• 다양한 차원과 희박성 조건에서 전체 표본 추정기와 교차 적합 추정기의 성능을 비교하기 위해.
• CATE 함수에 대한 균일 신뢰구간을 구성하기 위한 실용적이고 실행 가능한 절차를 제공하기 위해.

제안 방법

• 제1단계: Lasso 또는 기타 정규화 추정기와 같은 기계학습 방법을 사용하여 고차원 공변량을 다루기 위해 고차원 부수적 함수(예: 결과 및 성향 점수 회귀)를 추정한다.
• 제2단계: 추정된 부수적 함수에 대해 저차원 국소 선형 회귀를 수행하여 관심 공변량(들)의 차원이 감소된 CATE 함수를 도출한다.
• 두 가지 변형이 제안된다: 하나는 두 단계 모두에서 전체 표본을 사용하고, 다른 하나는 교차 적합(표본 분할)을 사용하여 편향을 줄이고 추론을 향상시킨다.
• 이론적 프레임워크는 Belloni 등(2017)과 Chernozhukov 등(2018)에 기반하여 추정기의 기능적 점근 이론을 수립한다.
• 승수 부트스트랩 절차를 통해 전체 CATE 함수에 대한 타당한 신뢰구간을 구성할 수 있도록 균일 추론이 가능하다.
• 이중 강건성에 의해 모형 잘못 지정에 강건하며, 고차원 데이터의 엄밀한 및 근사적인 희박성 모두를 처리할 수 있다.

Figure 1: CATE for the effect of smoking on birth weights conditional on mother’s age, 99% confidence bands.

실험 결과

연구 질문

• RQ1 공변량 수가 많거나 심지어 표본 크기보다 클 경우 조건부 평균 치료 효과(CATE)를 일관적으로 추정할 수 있는 방법은 무엇인가?
• RQ2 부수적 함수 추정에 기계학습을 사용할 경우 고차원 설정에서 CATE 추정기의 유한 표본 성능에 어떤 영향을 미치는가?
• RQ3 전체 표본 추정에 비해 교차 적합이 CATE 함수의 유한 표본 성질과 균일 추론의 타당성에 어떻게 기여하는가?
• RQ4 다양한 정도의 희박성과 데이터 차원에서 제안된 추정기가 균일 신뢰구간에 대해 정확한 커버리지 비율을 유지하는 정도는 어느 정도인가?
• RQ5 기존의 이중 강건 접근법과 비교할 때 제안된 방법은 실증적 커버리지와 임계값 추정 측면에서 어떻게 다른가?

주요 결과

• 교차 적합 추정기는 p=30, N=500 조건에서도 모든 시뮬레이션 설계에서 명목 수준(예: 95% 및 99%)에 가까운 실증적 커버리지 비율을 달성한다.
• 전체 표본 추정기는 고차원 설정(p=30, N=500)에서 약간 낮은 실증적 커버리지 비율을 보이며, 특히 90% 신뢰수준에서 그렇지만 여전히 명목 수준에 가깝다.
• 승수 부트스트랩 절차는 균일 신뢰구간에 대한 정확한 임계값을 제공하며, 평균 임계값이 이론적 분위수에 가깝고 임계값의 표준편차가 낮다.
• 고차원 설정에서 Gumbel 근사가 임계값에 잘 작동하여 대부분의 경우 커버리지 확률이 1.000에 가깝다.
• 이중 강건 방법(Low)은 고차원 모형에서 심각한 크기 왜곡을 보이며, p=30, N=2000일 때 99% 신뢰수준에서 실증적 커버리지가 0.014로 급격히 감소한다.
• 모체 흡연과 출생 체중 간의 실증 적용에서, 이 방법은 어머니의 연령에 따라 의미 있게 변화하는 해석 가능하고 부드러운 CATE 곡선을 도출하여 방법의 실용적 유용성을 뒷받침한다.

Figure 2: CATE for the effect of smoking on birth weights conditional on mother’s age, 95% confidence bands.