[논문 리뷰] Patterns of Effects and Sensitivity Analysis for Differences-in-Differences

Luke Keele, Dylan S. Small외 2명|arXiv (Cornell University)|2019. 01. 07.

Advanced Causal Inference Techniques참고 문헌 45인용 수 11

한 줄 요약

이 논문은 차등-차등(DID) 설계를 위한 민감도 분석 방법을 개발하여, 인과적 결론을 뒤엎는 데 필요한 비관측된 혼란 요인의 정도를 정량화한다. 관측된 공변량을 제어하기 위해 매칭을 활용하고, McNemar의 통계량을 기반으로 한 새로운 민감도 검정을 결합함으로써, 저자들은 조건이 평행 추세에서 약간 벗어나는 경우—예를 들어 치료 배정 확률이 5% 변화하는 경우—에도 인과적 결론이 뒤바뀔 수 있음을 보여주며, 평행 추세 가정이 검증되지 않은 상태에서 표준 DID 추론이 얼마나 취약한지를 강조한다.

ABSTRACT

Applied analysts often use the differences-in-differences (DID) method to estimate the causal effect of policy interventions with observational data. The method is widely used, as the required before and after comparison of a treated and control group is commonly encountered in practice. DID removes bias from unobserved time-invariant confounders. While DID removes bias from time-invariant confounders, bias from time-varying confounders may be present. Hence, like any observational comparison, DID studies remain susceptible to bias from hidden confounders. Here, we develop a method of sensitivity analysis that allows investigators to quantify the amount of bias necessary to change a study's conclusions. Our method operates within a matched design that removes bias from observed baseline covariates. We develop methods for both binary and continuous outcomes. We then apply our methods to two different empirical examples from the social sciences. In the first application, we study the effect of changes to disability payments in Germany. In the second, we re-examine whether election day registration increased turnout in Wisconsin.

연구 동기 및 목표

• 시간 불변 편향을 보정함에도 불구하고 비관측된 시간에 따라 변하는 혼란 요인에 의해 영향을 받을 수 있는 차등-차등(DID) 추정치의 취약성을 다루기 위해.
• 인과적 결론을 뒤집는 데 필요한 숨겨진 혼란 요인의 정도를 정량화하는 민감도 분석 방법을 개발하기 위해.
• 이 방법을 두 가지 실제 정책 평가에 적용하기 위해: 독일의 장애수당 변화와 미국의 선거의 날 투표 등록(EDR).
• 기존의 DID 추론이 평행 추세 가정이 있을 경우에 특히 불확실성의 정도를 과소평가함으로써 통계적 유의성의 과신을 초래할 수 있음을 보여주기 위해.
• DID는 자연 실험으로 보다는 통계적 장치로 간주되어야 하며, 그 타당성은 치료 배정 메커니즘을 모델링하고 비관측된 혼란 요인에 대한 민감도를 평가하는 데 달려 있다는 점을 강조하기 위해.

제안 방법

• 관측된 기초 공변량(예: 연령, 인종, 교육 수준, 소득)에서 치료군과 대조군 간의 균형을 이루기 위해 카디널리티 매칭을 사용하여, 시간 주기 전반에 걸쳐 공변량 균형을 확보한다.
• 1972년과 1980년의 매칭 쌍 간에 쌍 대 쌍 매칭을 적용하여, 균형을 유지하고 내부 쌍 비교를 가능하게 한다.
• DID 추정치를 뒤집는 데 필요한 비관측된 혼란 요인의 정도를 평가하기 위해 오즈비율 Γ² 기반의 민감도 분석 프레임워크를 활용한다.
• 다양한 수준의 비관측된 혼란 요인(Γ) 하에서 날카운(null) 가설에 대한 McNemar의 검정을 사용하여 단측 p-값을 계산한다.
• p-값이 전통적인 0.05 기준선을 넘는 변화점(Changepoint) 값을 Γ로 계산하여, 인과적 결론이 뒤바뀌는 임계 수준을 특정한다.
• 이 방법은 이진 결과와 연속형 결과 모두에 적용 가능하게 하여 사회과학 연구에서 흔히 사용되는 다양한 실증 설정에 활용도를 넓힌다.

실험 결과

연구 질문

• RQ1 EDR가 위스콘신 주의 투표율을 높였다는 결론을 뒤집기 위해 얼마나 많은 비관측된 혼란 요인이 필요할까?
• RQ2 독일의 장애수당 삭감이 서비스 이용에 미치는 DID 추정치는 평행 추세 가정 위반에 얼마나 강인한가?
• RQ3 오즈비율 기반 민감도 분석은 표준 DID 추론을 무효화할 수 있는 숨겨진 혼란 요인의 영향을 감지할 수 있는가?
• RQ4 매칭을 사용하는 것이 회귀 기반 조정에 비해 DID 추정치의 탄력성을 얼마나 향상시키는가?
• RQ5 인과적 결론의 통계적 유의성이 사라지게 만들기 위해 필요한 비관측된 혼란 요인의 임계 수준(Γ로 측정)은 얼마인가?

주요 결과

• EDR 적용 사례에서 기존의 DID 추정치는 위스콘신 주와 일리노이 주 간 투표율이 10.3%p 증가했음을 보여주었으며, p < .001로 강력한 통계적 유의성을 나타냈다.
• 그러나 민감도 분석 결과, 치료 배정 확률의 5% 변화(Γ ≈ 1.05)만으로도 단측 p-값이 0.05를 초과하게 되어, 인과적 결론이 작은 비관측된 혼란 요인에 민감하게 영향을 받는다는 점을 확인했다.
• McNemar의 통계량을 사용한 날카운(null) 가설 검정 결과 p-값은 0.018로, 귀무가설에 대한 강력한 반박 근거를 제시했지만, 이 결과는 비관측된 혼란 요인에 민감하게 영향을 받는다.
• 기존의 t-검정은 불확실성을 과소평가하여, 특히 평행 추세 가정이 검증되지 않은 상태에서 DID 추정치의 유의성에 대해 과신을 초래한다.
• 이 방법은 평행 추세에서의 작은 이탈—예를 들어 치료 배정 확률이 5% 변화하는 것—조차도 인과적 결론을 뒤바꿀 수 있음을 보여주며, 민감도 분석의 필요성을 강조한다.
• 저자들은 DID가 자연 실험으로 간주되어서는 안 되며, 치료 배정 메커니즘을 모델링하고 비관측된 혼란 요인에 대한 민감도를 평가하는 데 의존하는 통계적 장치로 보아야 한다고 결론을 내린다.