[논문 리뷰] Synthetic Controls and Weighted Event Studies with Staggered Adoption

Eli Ben‐Michael, Avi Feller외 1명|arXiv (Cornell University)|2019. 12. 01.

Advanced Causal Inference Techniques인용 수 12

한 줄 요약

이 논문은 선형 요인 모형 하에서 평균 및 단위별 불균형을 동시에 최소화하는 가중치 부여된 SCM 추정량을 제안함으로써, 시차 있는 도입 설정에 일반화된 합성 제어 방법(Synthetic Control Method, SCM)을 제시한다. 이는 편향 통제를 향상시킨다. 또한 고정 효과와 결합된 이러한 가중치를 활용해 보완 추정량을 제안하며, 이는 SCM과 고정 효과만을 사용하는 것보다 우수한 성능을 보이며, 시뮬레이션과 교사 단체교섭이 학교 지출에 미치는 영향에 대한 적용을 통해 검증된다.

ABSTRACT

Staggered adoption of policies by different units at different times creates promising opportunities for observational causal inference. The synthetic control method (SCM) is a recent addition to the evaluation toolkit but is designed to study a single treated unit and does not easily accommodate staggered adoption. In this paper, we generalize SCM to the staggered adoption setting. Current practice involves fitting SCM separately for each treated unit and then averaging. We show that the average of separate SCM fits does not necessarily achieve good balance for the average of the treated units, leading to possible bias in the estimated effect. We propose SCM weights that instead minimize both average and state-specific imbalance, and show that the resulting estimator controls bias under a linear factor model. We also combine our partially pooled SCM weights with traditional fixed effects methods to obtain an augmented estimator that improves over both SCM weighting and fixed effects estimation alone. We assess the performance of the proposed method via extensive simulations and apply our results to the question of whether teacher collective bargaining leads to higher school spending, finding minimal impacts. We implement the proposed method in the augsynth R package.

연구 동기 및 목표

• 기존의 합성 제어 방법은 단일 처리 단위를 대상으로 설계되어 있으며, 다수의 단위에서 시차 있는 도입에 대응하기 어려운 한계를 지닌다.
• 각 처리 단위에 대해 별도로 추정한 SCM 추정치를 평균화할 경우 전체 효과 추정치에서 불균형과 편향이 발생할 수 있음을 밝힌다.
• 선형 요인 모형 하에서 처리된 단위들 간의 평균 및 국가별 불균형을 동시에 최소화하는 통합된 가중치 부여 방식을 개발한다.
• 부분 풀링된 SCM 가중치와 고정 효과를 조합하여 추정 효율성과 편향 통제를 향상시킨 보완 추정량을 제안한다.
• 광범위한 시뮬레이션과 함께 교사 단체교섭이 학교 지출에 미치는 영향을 평가하기 위해 이 방법을 실증적으로 평가한다.

제안 방법

• 모든 처리된 단위들 간의 평균 및 개별 단위의 불균형을 동시에 최소화하는 가중치 부여된 합성 제어 추정량을 제안하며, 제약 조건이 있는 최적화 문제를 해결한다.
• 두 단계로 구성된 가중치 부여 절차를 도입한다: 첫째, 사전 처리 기간의 결과를 균형 있게 만드는 단위별 SCM 가중치를 추정한다. 둘째, 이러한 가중치를 부분 풀링하여 안정성을 향상시킨다.
• 선형 요인 모형 하에서 추정량을 수립하며, 제안된 가중치가 이 모형 하에서 평균 처리 효과의 편향을 통제함을 보여준다.
• 가중치 부여된 SCM 추정량과 전통적인 고정 효과를 조합하여, 두 방법의 장점을 살린 보완 추정량을 구성한다.
• R 패키지 augsynth에 이 방법을 구현하여 연구자들이 표준 추론 절차를 사용해 시차 있는 도입 설정에 적용할 수 있도록 한다.
• 시뮬레이션 연구를 통해 제안된 방법을 별도의 SCM 피팅과 고정 효과와 비교하며, 편향, 분산, 평균제곱오차를 평가한다.

실험 결과

연구 질문

• RQ1 시차 있는 도입 설정에서 각 처리 단위에 대해 별도로 추정한 합성 제어 추정치의 평균화는 평균 처리 효과 추정치에 편향을 초래하는가?
• RQ2 시차 있는 도입 맥락에서 평균 및 단위별 불균형을 동시에 최소화할 수 있는 통합된 가중치 부여 방식을 개발할 수 있는가?
• RQ3 선형 요인 모형 하에서 제안된 가중치 부여된 SCM 추정량은 표준 고정 효과와 별도의 SCM 피팅에 비해 어떻게 성능을 발휘하는가?
• RQ4 SCM 가중치와 고정 효과를 조합하여, 편향과 효율성 측면에서 각각의 방법보다 개선된 보완 추정량을 얻을 수 있는가?
• RQ5 제안된 방법을 사용하여 교사 단체교섭이 학교 지출에 미치는 실증적 영향은 무엇인가?

주요 결과

• 시차 있는 도입 설정에서 각 처리 단위에 대해 별도로 추정한 합성 제어 피팅의 평균은 불균형이 심하고, 이는 평균 처리 효과 추정치의 편향을 초래할 수 있다.
• 제안된 가중치 부여된 SCM 추정량은 평균 및 국가별 불균형을 동시에 최소화하며, 선형 요인 모형 하에서 편향을 통제한다.
• 부분 풀링된 SCM 가중치와 고정 효과를 조합한 보완 추정량은 시뮬레이션에서 SCM 가중치 또는 고정 효과만을 사용하는 것보다 더 낮은 평균제곱오차를 달성한다.
• 실증 적용에서는 교사 단체교섭이 학교 지출을 높인다는 데 대한 근거가 거의 없음을 발견한다.
• augsynth R 패키지는 제안된 방법을 성공적으로 구현하여, 시차 있는 도입 설계의 재현 가능하고 확장 가능한 분석을 가능하게 한다.
• 시뮬레이션 결과, 제안된 방법이 유한 표본에서 양호한 성능과 모형 잘못 설정에 대한 강건성을 유지함을 확인한다.