[논문 리뷰] The Bayesian Synthetic Control: Improved Counterfactual Estimation in the Social Sciences through Probabilistic Modeling

Elias Tuomaala|arXiv (Cornell University)|2019. 10. 14.

Advanced Causal Inference Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 사회과학 분야에서 반사적 추정을 향상시키기 위해 빈도주의 합성 통제 방법(Synthetic Control Method, SCM)을 계층적 베이지안 모형으로 대체하는 확률론적 프레임워크인 베이지안 합성 통제(Bayesian Synthetic Control, BSC)를 제안한다. BSC는 마르코프 체인 몬테카를로(Markov Chain Monte Carlo, MCMC) 샘플링을 통해 잠재 요인을 추정하고, 사후 분포를 통해 불확실성을 명시적으로 모델링함으로써 타당한 유한표본 신뢰구간을 제공하고 과적합을 줄인다. 실증 적용 결과로는 예측 정확도가 향상되었고, 통계적 유의성에 대한 결론이 SCM과 다를 수 있음을 보여준다.

ABSTRACT

Social scientists often study how a policy reform impacted a single targeted country. Increasingly, this is done with the synthetic control method (SCM). SCM models the country's counterfactual (non-reform or untreated) trajectory as a weighted average of other countries' outcomes. The method struggles to quantify uncertainty; eg. it cannot produce confidence intervals. It is also suspect to overfit. We propose an alternative method, the Bayesian synthetic control (BSC), which lacks these flaws. Using MCMC sampling, we implement the method for two previously studied datasets. The proposed method outperforms SCM in a simple test of predictive accuracy and casts some doubt on significance of prior findings. The studied reforms are the German reunification of 1990 and the California tobacco legislation of 1988. BSC borrows its causal model, the linear latent factor model, from the SCM literature. Unlike SCM, BSC estimates the latent factors explicitly through a dimensionality reduction. All uncertainty is captured in the posterior distribution so that, unlike for SCM, credible intervals are easily derived. Further, BSC's reliability on the target panel dataset can be assessed through a posterior predictive check; SCM and its frequentist derivatives use up the required information while testing statistical significance.

연구 동기 및 목표

• 합성 통제 방법(Synthetic Control Method, SCM)의 한계, 특히 불확실성 측정 불가 및 과적합에 대한 취약성을 해결하기 위해.
• 치료 효과를 완전한 사후 추론을 통해 모델링하는 베이지안 프레임워크를 개발하여, 유한 표본에서의 타당한 신뢰구간과 불확실성 측정이 가능하도록 하기 위해.
• 후행 예측 검증과 재라벨링 기법을 통해 모형 검증을 향상시키며, 이는 빈도주의 SCM에서는 제공되지 않는 기법이다.
• 독일 재통일(1990)과 캘리포니아 주 Proposition 99(1988)의 두 실질적 사례를 통해 방법의 실용적 유용성을 입증하기 위해.
• BSC가 이전의 SCM 기반 연구와는 다를 수 있는 통계적 유의성 결론을 도출할 수 있음을 보여주어 인과 추론에서의 방법론적 민감성을 강조하기 위해.

제안 방법

• BSC는 SCM과 동일한 선형 잠재 요인 모형을 인과적 구조로 채택하지만, 차원 축소를 통해 잠재 요인을 명시적으로 추정한다.
• 계층적 베이지안 모형을 사용하여 치료 효과와 잠재 요인 경로를 동시에 추정하며, 정규화를 위해 사전 분포를 통합한다.
• 마르코프 체인 몬테카를로(Markov Chain Monte Carlo, MCMC) 샘플링을 활용하여 전체 사후 분포에서 추출하여 불확실성 측정과 신뢰구간 계산을 가능하게 한다.
• 모형 유효성은 후행 예측 검증과 재라벨링 기법을 통해 평가되며, 이는 적합한 사후 분포 하에서 관측된 데이터를 모형이 재생산할 수 있는지 테스트한다.
• 잠재 요인의 수는 WAIC(Watanabe-Akaike Information Criterion)를 사용하여 선택하지만, 논문은 베이지안 모형 평균화가 더 바람직하다고 지적한다.
• 결측치는 추가로 처리된 치료 대상 단위로 간주함으로써 자연스럽게 결측치를 처리할 수 있어 데이터 유연성이 향상된다.

실험 결과

연구 질문

• RQ1 베이지안 합성 통제 방법(Bayesian Synthetic Control, BSC)은 실질적 응용에서 빈도주의 합성 통제 방법(Synthetic Control Method, SCM)보다 더 정확한 반사적 예측을 제공하는가?
• RQ2 베이지안 접근은 SCM이 불가능한 바, 치료 효과에 대해 타당한 유한표본 신뢰구간을 제공할 수 있는가?
• RQ3 독일 재통일 및 캘리포니아 주 Proposition 99 사례에서 BSC의 통계적 유의성 평가 결과는 이전의 SCM 기반 연구와 어떻게 다를까?
• RQ4 후행 예측 검증과 재라벨링 기법이 합성 통제 설정에서 모형 검증을 얼마나 향상시킬 수 있는가?
• RQ5 BSC 프레임워크는 재설계 없이도 다수의 치료 대상 단위나 결측치를 처리할 수 있는가?

주요 결과

• 독일 재통일 사례에서 BSC는 단순 예측 정확도 테스트에서 SCM을 능가하여, 빈도주의 접근에서의 잠재적 과적합을 시사한다.
• 캘리포니아 주 Proposition 99 사례에서는 BSC가 대부분의 후기 개혁 기간 동안 치료 효과가 유의미하지 않음을 발견했으며, 이는 Abadie 등(2015)의 결과와는 정반대되지만, Ben-Michael 등(2018)의 유의미성 기각 결과와 일치한다.
• 2000년에는 BSC가 치료 효과가 겨우 유의미하다고 평가하여, 누적 효과가 시간이 지남에 따라야만 통계적으로 탐지 가능하다는 것을 시사한다.
• BSC의 후행 예측 검증 결과, 모형이 관측된 데이터를 합리적으로 재생산할 수 있었으며, 이는 독일 재통일 사례에서의 모형 유효성을 지지한다.
• BSC의 신뢰구간은 SCM이 가정하는 점근적 신뢰구간과 달리 유한표본에서 타당했으며, 이는 소표본 정책 평가에 더 신뢰할 수 있음을 의미한다.
• 이 방법은 계산 가능성이 높고, 결측치를 별도의 치료 대상 단위로 간주함으로써 결측치 처리 능력까지 갖춘 유연성을 보였다.