[논문 리뷰] Statistical Inference for Heterogeneous Treatment Effects Discovered by Generic Machine Learning in Randomized Experiments

Kosuke Imai, Michael Lingzhi Li|arXiv (Cornell University)|2022. 03. 28.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 랜덤화 실험에서 일반적인 머신러닝 알고리즘으로 식별된 이질적 치료 효과에 대해 타당한 통계적 추론 프레임워크를 개발한다. 네이먼의 반복 표본 추출 접근법과 랜덤화 기반 추론을 활용하여, ML 알고리즘의 일致성 요구 없이 군 평균 치료 효과(GATES)에 대한 신뢰구간과 비모수적 가설검정을 구축함으로써, 많은 공변량이 존재하는 소표본에서도 강건성을 확보한다.

ABSTRACT

Researchers are increasingly turning to machine learning (ML) algorithms to investigate causal heterogeneity in randomized experiments. Despite their promise, ML algorithms may fail to accurately ascertain heterogeneous treatment effects under practical settings with many covariates and small sample size. In addition, the quantification of estimation uncertainty remains a challenge. We develop a general approach to statistical inference for heterogeneous treatment effects discovered by a generic ML algorithm. We apply the Neyman's repeated sampling framework to a common setting, in which researchers use an ML algorithm to estimate the conditional average treatment effect and then divide the sample into several groups based on the magnitude of the estimated effects. We show how to estimate the average treatment effect within each of these groups, and construct a valid confidence interval. In addition, we develop nonparametric tests of treatment effect homogeneity across groups, and rank-consistency of within-group average treatment effects. The validity of our methodology does not rely on the properties of ML algorithms because it is solely based on the randomization of treatment assignment and random sampling of units. Finally, we generalize our methodology to the cross-fitting procedure by accounting for the additional uncertainty induced by the random splitting of data.

연구 동기 및 목표

• 소표본 랜덤화 실험에서 머신러닝을 통해 발견된 치료 효과에 대한 신뢰할 수 있는 통계적 추론의 부족을 해결하기 위해.
• ML 알고리즘 성능에 관계없이 유효한 방법을 개발하여, 오직 랜덤 치료 배정과 표본 추출에 의존하도록 하기 위해.
• 치료 효과 이질성에 대한 공식적인 가설검정과 그룹 간 추정 효과의 순서 일致성 검토를 가능하게 하기 위해.
• ML 응용에서 흔한 데이터 분할 및 크로스피팅 절차에서 발생하는 불확실성 요소를 고려하기 위해.
• 응용 연구자들이 해당 방법론을 구현할 수 있도록 실용적이고 오픈소스인 R 패키지(evalITR)를 제공하기 위해.

제안 방법

• ML로 예측한 조건부 평균 치료 효과(CATE) 기반으로 단위를 분할한 후, 네이먼의 반복 표본 추출 프레임워크를 적용하여 군 평균 치료 효과(GATES)를 추정한다.
• ML 성질에 의존하지 않고, 오직 치료의 랜덤화와 단위의 표본 추출에 의존하여 점점 유효한 신뢰구간을 구축한다.
• 군 간 치료 효과의 동질성(1)과 순서가 정렬된 군 간 GATES의 순서 일치성(2)에 대한 비모수적 검정을 개발한다.
• 추가적인 불확실성 요소를 고려하여, 랜덤 데이터 분할을 통한 폴드로 나누어진 절차를 고려한 크로스피팅으로 방법을 일반화한다.
• 표본 분할 또는 크로스피팅을 통해 학습 폴드에서 CATE를 추정하고 검증 폴드에서 GATES를 추정한 후 결과를 통합한다.
• 랜덤화 기반 추론 원리를 활용하여, ML 알고리즘이 일관성 없거나 편향이 있을 경우에도 유효한 추론을 보장한다.

실험 결과

연구 질문

• RQ1 랜덤화 실험에서 머신러닝 알고리즘이 식별한 군 내 평균 치료 효과에 대해 타당한 신뢰구간을 구성할 수 있는가?
• RQ2 ML 예측으로 식별된 군 간 치료 효과가 동일한가를 어떻게 검정할 수 있는가?
• RQ3 GATES의 순서가 ML로 예측한 CATE 점수와 일치하는 통계적 증거가 있는가?
• RQ4 소표본에서 단순 표본 분할에 비해 크로스피팅은 추론 효율성을 어떻게 향상시키는가?
• RQ5 ML 알고리즘이 CATE를 일관되게 추정하지 못할 경우에도 이 방법이 얼마나 유효한 추론을 보장할 수 있는가?

주요 결과

• Causal Forest는 표본 분할 및 크로스피팅 모두에서 상위 20% 군에서 통계적으로 유의미한 양의 GATES($20,000)를 발견했으며, 크로스피팅에서는 더 좁은 신뢰구간을 보였다.
• 크로스피팅 설정에서 Causal Forest는 치료 효과 동질성의 귀무가설을 0.1% 수준에서 기각했고, LASSO는 10% 수준에서 기각하여 이질성에 강력한 증거를 제시했다.
• BART는 두 설정 모두에서 동질성 귀무가설을 기각하지 않아, 군 간 치료 효과의 유의미한 변동성을 감지하지 못했다.
• 세 알고리즘(Causal Forest, BART, LASSO) 모두 GATES의 순서 일치성 귀무가설을 기각하지 않아, 순서가 신뢰할 수 없는 증거는 없음을 시사했다.
• 크로스피팅은 표본 분할에 비해 더 정밀한 GATES 추정치와 더 좁은 신뢰구간을 제공하여 높은 효율성을 확인했다.
• 이 방법은 최소한의 가정—오직 랜덤화와 표본 추출—만 요구하므로, ML 알고리즘이 일관성 없거나 잘못 校정된 경우에도 강건성을 유지한다.