[논문 리뷰] On the reliability of published findings using the regression discontinuity design in political science

Drew Stommes, Peter M. Aronow외 1명|arXiv (Cornell University)|2021. 09. 29.

Qualitative Comparative Analysis Research인용 수 4

한 줄 요약

이 논문은 2009–2018년 동안 상위 학술지에 게재된 정치학 분야의 회귀단절설계(RD) 연구를 분석하여 RD 결과의 신뢰성을 조사한다. 연구는 출판된 RD 추정치가 5% 유의수준 기준선을 약간 넘어서는 곳에 병행되는 병적인 군집 현상(병렬 군집)을 보이며, 이는 통계적 검정력이 낮고 오류 추정 방법이 잘못된 데 기인한다—특히 표준오차가 과소평가된 것이 원인이다. 이로 인해 현대적 방법을 재분석했을 때 점추정치에 큰 변화가 없음에도 불구하고 통계적 유의성이 과대평가되고 있다.

ABSTRACT

The regression discontinuity (RD) design offers identification of causal effects under weak assumptions, earning it a position as a standard method in modern political science research. But identification does not necessarily imply that causal effects can be estimated accurately with limited data. In this paper, we highlight that estimation under the RD design involves serious statistical challenges and investigate how these challenges manifest themselves in the empirical literature in political science. We collect all RD-based findings published in top political science journals in the period 2009-2018. The distribution of published results exhibits pathological features; estimates tend to bunch just above the conventional level of statistical significance. A reanalysis of all studies with available data suggests that researcher discretion is not a major driver of these features. However, researchers tend to use inappropriate methods for inference, rendering standard errors artificially small. A retrospective power analysis reveals that most of these studies were underpowered to detect all but large effects. The issues we uncover, combined with well-documented selection pressures in academic publishing, cause concern that many published findings using the RD design may be exaggerated.

연구 동기 및 목표

• 2009~2018년 사이에 상위 정치학 학술지에 게재된 회귀단절설계(RD) 연구의 신뢰성을 평가하기 위해.
• 보고된 t통계량에서 나타나는 병적인 패턴—특히 1.96를 약간 넘는 곳에 집중되는 군집 현상이 연구자들의 판단 여유 때문인지, 혹은 방법론적 결함 때문인지 조사하기 위해.
• 편향된 표준오차 추정 방법과 같은 부적절한 추론 절차가 통계적 유의성의 과대평가에 기여하는지 평가하기 위해.
• 출판 편향과 낮은 통계적 검정력이 경험적 문헌을 왜곡하는 데 기여하는 정도를 조사하기 위해.
• 최신 기법을 사용하여 기존에 출판된 RD 연구를 재분석하여 원래 결과의 탄력성 평가하기 위해.

제안 방법

• 2009~2018년 사이에 *American Political Science Review*, *American Journal of Political Science*, *Journal of Politics* 에 게재된 모든 RD 기반 연구를 수집하였다.
• 원래 연구가 의미 있는 효과를 탐지할 수 있는 통계적 검정력을 평가하기 위해 후행적 검정력 분석을 수행하였다.
• 가용한 데이터를 바탕으로 표준화된 현대적 방법(예: Calonico 등, 2015; R의 rdrobust 및 rdhonest 패키지)을 사용하여 방법론적 결함를 수정하기 위해 모든 연구를 재분석하였다.
• 원래의 t통계량과 강력한 표준오차 및 편향 보정 추론 절차를 사용한 재분석 결과의 t통계량을 비교하였다.
• 선택 편향과 유의성 과대평가의 정도를 시각화하기 위해 펌프플롯과 p-값 분포를 사용하였다.
• 대역폭 선택 방법(자동화된 vs. 비자동화된)을 평가하여 연구자들의 판단 여유가 관찰된 군집 현상의 주요 원인인지 테스트하였다.

실험 결과

연구 질문

• RQ1 정치학 분야의 출판된 RD 추정치는 통상적인 5% 유의수준 기준선을 약간 넘는 곳에 병적인 군집 현상을 보이는가?
• RQ2 대역폭 선택에 대한 연구자들의 판단 여유가 관찰된 t통계량 군집 현상의 주요 원인인가?
• RQ3 현대적 추론 방법은 원래 분석과 비교해 복귀단절설계(RD) 추정치의 표준오차와 통계적 유의성에 어떤 영향을 미치는가?
• RQ4 정치학 분야의 RD 연구는 어떤 통계적 검정력을 가지며, 이는 거짓 양성 결과의 빈도와 어떤 관련이 있는가?
• RQ5 출판 편향과 통계적 검정력이 낮은 연구가 문헌에서 효과 크기의 과대평가에 얼마나 기여하는가?

주요 결과

• 보고된 t통계량의 분포는 1.96를 약간 넘는 곳에 뚜렷한 군집 현상을 보이며, 이는 통상적인 유의수준 기준선을 약간 넘는 결과들이 체계적으로 과대표되어 있음을 시사한다.
• 현대적 방법(예: rdrobust 및 rdhonest)을 사용한 재분석은 평균적으로 표준오차를 증가시켜 t통계량이 0으로 향하는 왼쪽 이동을 유도하였으며, 이는 원래 연구 결과가 통계적 유의성 측면에서 과대평가되었음을 시사한다.
• 자동화된 대역폭 선택을 사용한 연구에서 비자동화된 연구보다 더 뚜렷한 군집 현상이 관찰되어, 연구자들의 대역폭 선택에 대한 판단 여유가 병적인 패턴의 주요 원인은 아님을 시사한다.
• 후행적 검정력 분석 결과 대부분의 연구가 작은 효과 이외의 효과를 탐지할 수 있도록 충분한 검정력을 갖추지 못한 것으로 나타났으며, 이는 거짓 양성 결과의 위험을 증가시킨다.
• 낮은 검정력과 잘못된 추론 절차—특히 편향된 표준오차 추정 방법—의 조합은 거짓 양성 결과의 위험을 악화시키며, 문헌 내에서 거짓 발견 비율을 증가시킨다.
• 방법론적 결함를 수정한 후에도 점추정치는 대부분 변화하지 않았지만, 그 정밀도는 상당히 감소하였다. 이는 원래 연구 결과가 통계적 유의성 측면에서 과신하고 있었음을 시사한다.