[논문 리뷰] Should We Adjust for the Test for Pre-trends in Difference-in-Difference Designs?

Jonathan Roth|arXiv (Cornell University)|2018. 04. 03.

Advanced Causal Inference Techniques인용 수 8

한 줄 요약

이 논문은 진정한 사전 추세가 존재하지만 감지되지 않을 경우, 사전 추세 검정에 통과한 것을 조건으로 삼는 경우 표준 차이의 차이(DiD) 추정량이 편향됨을 보여준다. 특히 사전 추세가 존재하지만 감지되지 않을 경우에 특히 그렇다. 이에 따라 사전 검정 조건화를 보정하는 두 가지 새로운 추정량—중위수-편향 없는 추정량과 잘라낸 정규분포 신뢰구간—을 제안하며, 이는 평행 추세가 인구집단에서 성립하지 않을 경우에도 타당한 추론을 복원한다.

ABSTRACT

The common practice in difference-in-difference (DiD) designs is to check for parallel trends prior to treatment assignment, yet typical estimation and inference does not account for the fact that this test has occurred. I analyze the properties of the traditional DiD estimator conditional on having passed (i.e. not rejected) the test for parallel pre-trends. When the DiD design is valid and the test for pre-trends confirms it, the typical DiD estimator is unbiased, but traditional standard errors are overly conservative. Additionally, there exists an alternative unbiased estimator that is more efficient than the traditional DiD estimator under parallel trends. However, when in population there is a non-zero pre-trend but we fail to reject the hypothesis of parallel pre-trends, the DiD estimator is generally biased relative to the population DiD coefficient. Moreover, if the trend is monotone, then under reasonable assumptions the bias from conditioning exacerbates the bias relative to the true treatment effect. I propose new estimation and inference procedures that account for the test for parallel trends, and compare their performance to that of the traditional estimator in a Monte Carlo simulation.

연구 동기 및 목표

• 사전 추세 검정에 통과한 것을 조건으로 삼을 경우, 기존 DiD 추정량이 여전히 편향 없고 효율적인지 조사하기 위해.
• 진짜 사전 추세가 존재하지만 감지되지 않을 경우, 사전 추세 검정에 실패한 것을 조건으로 삼을 경우의 영향을 분석하기 위해.
• DiD 설계에서 사전 검정을 고려한 새로운 추정 및 추론 절차를 개발하기 위해.
• 정확한 평행 추세 가정과 잘못된 평행 추세 가정 하에서 조정된 추정량과 기존 DiD 추정량의 성능을 비교하기 위해.
• 저력이 낮은 검정력 하에서 연구자들이 DiD 설계의 유효성으로서 사전 추세 검정에 과도하게 의존하는 것을 경고하기 위해.

제안 방법

• 사전 추세 검정에서 평행 추세의 귀무가설을 기각하지 못하는 사건을 조건으로 삼는 중위수-편향 없는 추정량을 제안한다.
• 사전 검정 조건화를 보정하는 후처리 계수에 대한 잘라낸 정규분포 신뢰구간을 도입한다.
• 몬테카를로 시뮬레이션을 통해 정확한 평행 추세 가정과 잘못된 평행 추세 가정 하에서 조정된 추정량과 기존 추정량의 성능을 비교한다.
• 기존 DiD 추정량의 유한표본 편향을 사전 추세 귀무가설을 기각하지 못하는 조건 하에 유도하며, 이 편향이 추세가 단조일 경우 악화됨을 보여준다.
• 사전 추세가 없을 조건 하에서 최적의 편향 없는 추정량을 도출하며, 이는 기존 DiD 추정량보다 더 효율적임을 보여준다.
• 조건부 우도 프레임워크를 활용하여 사전 검정 조건화 하에서도 명목상 커버리지가 유지되는 추정량과 신뢰구간을 구성한다.

실험 결과

연구 질문

• RQ1 사전 추세 검정에 통과한 것을 조건으로 삼을 경우, 기존 DiD 추정량은 여전히 편향 없나?
• RQ2 진짜 사전 추세가 존재하지만 감지되지 않을 경우, 사전 추세 검정에 실패한 것을 조건으로 삼을 경우 DiD 추정량의 편향은 어떻게 영향을 받는가?
• RQ3 사전 추세 검정 결과를 조건으로 삼을 경우 편향 없고 유효한 커버리지가 보장되는 추정량을 구성할 수 있는가?
• RQ4 사전 추세 검정의 검정력은 실무에서 DiD 추정치의 신뢰성에 어떤 영향을 미치는가?
• RQ5 사전 검정 조건화를 고려한 조정된 추정량을 사용할 경우 정밀도와 타당성 사이의 상충 관계는 어떠한가?

주요 결과

• 평행 추세가 인구집단에서 성립할 경우, 기존 DiD 추정량은 사전 추세 검정에 통과한 것을 조건으로 삼을 경우 여전히 편향 없지만, 표준오차는 과도하게 보수적이다.
• 평행 추세 가정 하에서 기존 DiD 추정량보다 더 효율적인 대안의 편향 없는 추정량이 존재한다.
• 비영이 사전 추세가 존재하지만 감지되지 않을 경우(즉, 사전 검정에서 귀무가설을 기각하지 못할 경우), 기존 DiD 추정량은 진짜 처리 효과에 비해 일반적으로 편향된다.
• 단조 추세일 경우, 사전 검정 결과에 기반한 조건화로 인한 편향은 기존의 편향을 악화시켜, 조건화되지 않은 경우보다 더욱 오해의 소지가 있다.
• 제안된 잘라낸 정규분포 신뢰구간($CI^{TN}_{eta}$)은 모든 시뮬레이션 시나리오에서 모집단 DiD 계수에 대해 약간의 명목상 커버리지 성능을 보인다.
• 사전 추세 기간이 적을 경우 조정된 신뢰구간의 중위수 폭은 기존 구간보다 넓지만, 여섯 개 이상의 기간을 조건으로 삼을 경우 격차가 줄어들거나 반전될 수 있다.