[논문 리뷰] Estimation and Inference of Heterogeneous Treatment Effects using Random Forests

Stefan Wager, Susan Athey|arXiv (Cornell University)|2015. 10. 14.

Advanced Causal Inference Techniques인용 수 32

한 줄 요약

이 논문은 타당한 점근적 추론을 가능하게 하는 비모수적 랜덤 포레스트 방법인 인과 포레스트를 제안한다. 정확한, 부분 샘플링을 사용한 트리와 새로운 점근적 이론을 통해, 점별 일致성과 점근적으로 정규분포를 따르며 중심화된 표집 분포를 달성하여, 복잡한 상호작용을 포함한 고차원 설정에서도 유효한 신뢰구간을 제공한다.

ABSTRACT

Many scientific and engineering challenges -- ranging from personalized medicine to customized marketing recommendations -- require an understanding of treatment effect heterogeneity. In this paper, we develop a non-parametric causal forest for estimating heterogeneous treatment effects that extends Breiman's widely used random forest algorithm. In the potential outcomes framework with unconfoundedness, we show that causal forests are pointwise consistent for the true treatment effect, and have an asymptotically Gaussian and centered sampling distribution. We also discuss a practical method for constructing asymptotic confidence intervals for the true treatment effect that are centered at the causal forest estimates. Our theoretical results rely on a generic Gaussian theory for a large family of random forest algorithms. To our knowledge, this is the first set of results that allows any type of random forest, including classification and regression forests, to be used for provably valid statistical inference. In experiments, we find causal forests to be substantially more powerful than classical methods based on nearest-neighbor matching, especially in the presence of irrelevant covariates.

연구 동기 및 목표

• 기존 방법이 실패하는 고차원 및 복잡한 데이터 설정에서 이질적 치료 효과를 추정하기 위한 방법을 개발하는 것.
• 랜덤 포레스트에서의 치료 효과 추정치에 대해 점근적 정규분포와 신뢰구간을 포함한 이론적으로 탄탄한 통계적 추론 프레임워크를 제공하는 것.
• 랜덤 포레스트에 대한 점근적 이론의 부재로 인해 가설 검정과 불확실성 정량화에 있어 그 활용이 제한되어 온 문제를 해결하는 것.
• 정확한 트리와 부분 샘플링을 도입하여 랜덤 포레스트 프레임워크를 인과 추론으로 확장함으로써 편향 감소와 타당한 추론을 보장하는 것.
• 인과 포레스트가 최근접 이웃 매칭과 같은 전통적 방법보다 평균 제곱오차와 커버리지 측면에서 뛰어나며, 특히 많은 공변량이 존재할 경우에 성능이 뛰어나다는 것을 입증하는 것.

제안 방법

• 훈련과 예측을 별도의 부분 샘플에 수행하는 '정확한' 회귀 트리로 구성된 인과 포레스트를 사용하여 편향을 감소시킨다.
• 다양한 트리를 생성하기 위해 부분 샘플링을 적용하여 고차원 특징 공간에서의 안정성 향상과 과적합 방지를 도모한다.
• 알고리즘은 각 트리의 잎에서 치료 효과를 추정하고, 트리 간 예측을 집계하여 이질적 치료 효과의 최종 추정치를 형성한다.
• 일반적인 가우시안 이론을 활용하여 점근적 정규성을 확립하며, 트리의 정확성과 약한 의존성 등의 조건에 기반한다.
• 미세한 재귀법(jackknife)을 사용하여 점근적 분산을 추정하고, 추론을 위한 일致한 표준오차를 제공한다.
• 불필요한 공변량에 대해 강건하며, 치료 효과 이질성에 가장 예측력 있는 특징을 학습함으로써 고차원 상호작용에 적응한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 기반 방법은 이질적 치료 효과에 대한 타당한 통계적 추론을 제공하도록 적응시킬 수 있는가?
• RQ2 랜덤 포레스트에서 정확한 트리와 부분 샘플링을 사용할 경우, 치료 효과 추정치가 점근적으로 정규분포를 따르고 편향이 없는가?
• RQ3 고차원 공변량 하에서 인과 포레스트의 성능은 최근접 이웃 매칭과 같은 전통적 방법에 비해 평균 제곱오차와 커버리지 측면에서 어떻게 다른가?
• RQ4 회귀 및 분류 설정 모두에서 타당한 추론을 지원하는 데 기여할 수 있는 일반적인 랜덤 포레스트에 대한 점근적 이론을 개발할 수 있는가?
• RQ5 데이터 기반 특징 선택은 치료 효과 추정의 정확도 향상과 편향 감소에 어떤 역할을 하는가?

주요 결과

• 표준 정규성 조건 하에서 인과 포레스트는 진짜 치료 효과에 대해 점별 일치성을 확보하며, 표본 크기가 증가함에 따라 진짜 효과로 수렴한다.
• 인과 포레스트 추정치의 표집 분포는 점근적으로 가우시안이며 중심화되어 있어 치료 효과에 대한 유효한 신뢰구간을 제공한다.
• 특히 공변량의 수가 많거나 불필요한 변수를 포함할 경우, 전통적 최근접 이웃 매칭에 비해 평균 제곱오차 측면에서 뚜렷이 뛰어나다.
• 미세한 재귀법은 점근적 분산의 일관된 추정치를 제공하여 실무에서 신뢰할 수 있는 추론을 지원한다.
• 중간 크기의 표본에서도 명목상의 커버리지 비율을 유지하여 모델 복잡성에 대해 강건함을 입증한다.
• 특히 치료 효과 기울기가 높거나 공변량 지지의 경계 부근에서는 표준 최근접 이웃 방법보다 편향이 감소한다.