[논문 리뷰] Difference-in-Differences for Policy Evaluation

Brantly Callaway|arXiv (Cornell University)|2022. 01. 01.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 최근 차등분석(DID) 방법론의 발전을 검토하며, 처리 효과 이질성과 다양한 처리 시점이 존재하는 상황에서 이원 고정효과(TWFE) 회귀분석의 한계를 강조한다. 이에 따라 더 강건하고 구현이 용이한 대체 추정기법을 제안하며, 실증 사례와 민감도 분석을 통해 평행 추세 가정 위반 여부를 평가함으로써 정책 평가에서 개선된 인과 추론을 가능하게 한다.

ABSTRACT

Difference-in-differences is one of the most used identification strategies in empirical work in economics. This chapter reviews a number of important, recent developments related to difference-in-differences. First, this chapter reviews recent work pointing out limitations of two way fixed effects regressions (these are panel data regressions that have been the dominant approach to implementing difference-in-differences identification strategies) that arise in empirically relevant settings where there are more than two time periods, variation in treatment timing across units, and treatment effect heterogeneity. Second, this chapter reviews recently proposed alternative approaches that are able to circumvent these issues without being substantially more complicated to implement. Third, this chapter covers a number of extensions to these results, paying particular attention to (i) parallel trends assumptions that hold only after conditioning on observed covariates and (ii) strategies to partially identify causal effect parameters in difference-in-differences applications in cases where the parallel trends assumption may be violated.

연구 동기 및 목표

• 처리 효과 이질성 하에서 다기준 고정효과(TWFE) 회귀분석의 핵심적 한계를 특정하고 이를 해결하고자 한다.
• 최근 개발된, 이질성과 다양한 처리 시점에 더 강건한 대체 추정기법을 제시하고 평가하고자 한다.
• 특히 관측된 공변량 조건 하에서만 성립하는 평행 추세 가정의 역할을 검토하고자 한다.
• 평행 추세 가정이 위반될 수 있는 상황에서 인과 효과의 부분적 식별을 위한 전략을 탐색하고자 한다.
• 최소임금 및 청소년 고용 연구 사례를 중심으로 실증 적용과 민감도 분석을 통해 실용적 영향을 시연하고자 한다.

제안 방법

• 처리 이후 경과 시간에 따라 처리 효과를 분해하는 대체 DID 추정기법을 제안하여, TWFE 회귀분석에 내재된 가중치 문제를 피한다.
• 적절한 가중치 체계를 적용한 이벤트 스터디 추정기법을 사용하여, 이질성 하에서도 동적 처리 효과를 복원한다.
• 평행 추세 가정 위반에 대한 결과의 강건성을 평가하기 위해 민감도 분석 기법을 적용한다.
• 필요한 경우 관측된 공변량 조건 하에서 평행 추세 가정 하의 반사적 경로 추정을 수행한다.
• 산발적 도입 설계에 적합한 소프트웨어 기반 방법, 예를 들어 Callaway와 Sant'Anna(2021) 추정기법을 활용한다.
• 사전 처리 추세 분석과 공식적 민감도 분석을 융합하여 평행 추세의 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 처리 효과 이질성과 산발적 처리 시점이 존재할 경우, 이원 고정효과 회귀분석은 어떻게 성능을 발휘하는가?
• RQ2 다수의 시간 주기와 이질적 처리 효과를 포함한 DID 적용에서 TWFE 회귀분석의 핵심적 한계는 무엇인가?
• RQ3 처리 이질성이 존재하는 환경에서, 대체 추정기법이 TWFE 회귀분석보다 더 신뢰할 수 있는 인과 추정을 제공할 수 있는가?
• RQ4 평행 추세 가정이 위반될 수 있는 상황에서 연구자들은 어떻게 DID 결과의 강건성을 평가할 수 있는가?
• RQ5 TWFE 회귀분석의 추정 가중치는 특히 초기 도입자와 후기 도입자 간 비교를 어떻게 오도하는가?

주요 결과

• 두 개 이상의 시간 주기와 산발적 처리 시점이 존재할 경우, TWFE 회귀분석은 처리 효과 이질성에 대해 강건하지 않으며, 잠재적으로 오해의 소지가 있는 가중치를 포함하는 편향된 추정기를 초래한다.
• 이벤트 스터디 및 그룹별 고정효과 기반 DID 방법과 같은 대체 추정기법은 이질성 하에서도 더 정확하고 해석이 용이한 처리 효과 추정을 제공한다.
• 최소임금 적용 사례에서 2007년 데이터 포함 여부에 따라 결과가 민감하게 영향을 받았으며, 이는 처리 효과 이질성이 추정된 영향력에 상당한 영향을 미친다는 것을 시사한다.
• 민감도 분석 결과, 청소년 고용에 대한 추정 효과는 사전 처리 기간에서 관찰된 수준의 평행 추세 위반에 대해 강건하지 않으며, 신뢰구간은 -0.073에서 0.023 사이로 나타났다.
• 이미 처리된 단위를 대조군으로 사용하는 '나쁜 비교'에 상당한 가중치가 배정된 것으로 나타나, 초기 처리 단위나 처리 이후 기간을 제외하는 등의 주의 깊은 설계 선택이 필요함을 시사한다.
• 어떤 경우에서는 점 추정치가 유사했지만, TWFE와 신규 방법 간의 차이가 충분히 크므로 연구자들이 더 강건한 신규 접근법을 선호해야 한다고 제안할 수 있다.