[논문 리뷰] Stochastic Tree Ensembles for Estimating Heterogeneous Effects

Nikolay Krantsevich, Jingyu He외 1명|arXiv (Cornell University)|2022. 09. 15.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 전통적인 깁스 샘플링에 비해 사후 탐색과 추정 효율성을 향상시키는 베이지안 인과 숲(BCF)을 위한 새로운 스토하스틱 트리 앙상블 알고리즘을 소개한다. 이 방법은 더 빠른 수렴과 더 정확한 구간 추정을 가능하게 하여, 특히 강한 교란 요인이 존재하는 환경에서 이질적 치료 효과에 대해 유의미한 성능 향상을 보이며, 시뮬레이션과 학생 교육 데이터에 대한 실증 분석을 통해 검증되었다.

ABSTRACT

Determining subgroups that respond especially well (or poorly) to specific interventions (medical or policy) requires new supervised learning methods tailored specifically for causal inference. Bayesian Causal Forest (BCF) is a recent method that has been documented to perform well on data generating processes with strong confounding of the sort that is plausible in many applications. This paper develops a novel algorithm for fitting the BCF model, which is more efficient than the previously available Gibbs sampler. The new algorithm can be used to initialize independent chains of the existing Gibbs sampler leading to better posterior exploration and coverage of the associated interval estimates in simulation studies. The new algorithm is compared to related approaches via simulation studies as well as an empirical analysis.

연구 동기 및 목표

• 베이지안 인과 숲(BCF) 모델에서 깁스 샘플링의 느린 수렴과 열악한 사후 탐색 문제를 해결하기 위해.
• 더 큰 데이터셋에 더 잘 스케일링되면서도 정확도를 유지하는 BCF 피팅을 위한 더 효율적인 알고리즘 개발을 위해.
• 강한 교란 요인이 존재하는 상황에서 조건부 평균 치료 효과(CATE)의 사후 구간 추정을 향상시키기 위해.
• 사후 탐색과 신뢰 구간 커버리지 향상을 통해 더 나은 서브그룹 분석을 가능하게 하기 위해.
• 기존 깁스 샘플러에 대한 웜스타트 초기화 방법을 제공하여 수렴성과 추정 품질을 향상시키기 위해.

제안 방법

• 깁스 샘플링에서 느린 랜덤 워크 메트로폴리스-하스팅스 방법을 대체하기 위해 베이지안 업데이트를 영감으로 삼은 스토하스틱 트리 성장 알고리즘을 제안한다.
• 각 MCMC 반복에서 트리를 재성장시키기 위해 스토하스틱 프로세스를 사용하며, 절단점 후보와 사후 확률 계산에 따라 지도한다.
• 깊이에 따라 변하는 분할 확률을 통해 트리 구조에 사전 분포를 적용한다: $\alpha(1+d)^{-\beta}$, 여기서 $\alpha \in (0,1)$, $\beta \geq 0$.
• 리프 파라미터에 대해 독립적인 정규 사전분포를 할당한다: $m_{lb} \sim \mathcal{N}(0, \nu)$.
• 새로운 알고리즘을 기존 깁스 샘플러의 웜스타트 초기화로 통합하여 사후 탐색을 향상시킨다.
• 절단점 후보 $c_{jk}$를 기반으로 사후 확률에 따라 분할을 지도하는 재귀적 분할을 적용한다.

실험 결과

연구 질문

• RQ1 스토하스틱 트리 성장 알고리즘이 베이지안 인과 숲 모델의 효율성과 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 기존 깁스 샘플링에 비해 새로운 알고리즘이 CATE에 대해 더 정확하고 신뢰할 수 있는 사후 구간 추정을 제공하는가?
• RQ3 웜스타트 초기화 방법이 이질적 치료 효과 추정에서 사후 커버리지 향상과 오차 감소에 기여하는가?
• RQ4 제안된 방법은 시뮬레이션 및 실세계 데이터에서 BART, ps-BART 및 기타 인과 추론 모델과 비교해 어떻게 성능을 발휘하는가?
• RQ5 새로운 알고리즘이 강한 교란 요인이 존재하는 대규모 관찰 데이터 세트에서 확장 가능한 추론을 얼마나 잘 수행하는가?

주요 결과

• 제안된 알고리즘은 기존 깁스 샘플링 대비 BCF 모델에서 사후 탐색과 수렴 속도를 크게 향상시킨다.
• 웜스타트 BCF는 표준 BCF보다 더 긴 사후 신뢰 구간을 제공하여 커버리지 향상과 불확실성의 과소평가 감소를 시사한다.
• 시뮬레이션 결과, 웜스타트 BCF는 더 나은 구간 추정과 진짜 치료 효과의 신뢰성 있는 커버리지 성능을 보였다.
• 학생 교육 데이터에 대한 실증 분석 결과, 교육 수준이 낮은 부모와 가족 지원이 없는 학생들이 등교 수업에서 가장 큰 혜택을 보였으며, 서브그룹 ATE는 1.3점이었다.
• 서브그룹 2는 교육 수준이 높은 부모와 가족 지원이 없는 학생들로 구성되어 있었으며, ATE는 -0.46점이었고, 두 서브그룹 간 차이에 대한 95% 사후 신뢰 구간은 (-0.2, 4.7)이었다.
• 서브그룹 효과의 사후 차이는 주로 양의 값을 가지며, 이는 치료 효과가 서브그룹 간에 의미 있게 다름을 강력히 시사한다.