[논문 리뷰] Donut Regression Discontinuity Designs

Cladia Noack, Chistoph Rothe|arXiv (Cornell University)|2023. 08. 28.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 도넛 회귀 중단 디자인(donut regression discontinuity, RD) 설계를 위한 공식적인 경제수리 프레임워크를 제공하며, 표준 가정 하에서 이러한 추정기들이 전통적인 RD 추정기보다 더 높은 편향과 분산을 겪음을 보여준다. 이는 편향 인식 기반의 추론(신뢰구간 및 사양 검정 포함)을 도입하여 도넛 RD가 모형 불일치를 탐지할 수는 있지만 효율성과 정밀도의 손실을 수반함을 시사한다.

ABSTRACT

We study the econometric properties of so-called donut regression discontinuity (RD) designs, a robustness exercise which involves repeating estimation and inference without the data points in some area around the treatment threshold. This approach is often motivated by concerns that possible systematic sorting of units, or similar data issues, in some neighborhood of the treatment threshold might distort estimation and inference of RD treatment effects. We show that donut RD estimators can have substantially larger bias and variance than contentional RD estimators, and that the corresponding confidence intervals can be substantially longer. We also provide a formal testing framework for comparing donut and conventional RD estimation results.

연구 동기 및 목표

• 널리 사용되지만 히우리스틱 방식인 '도넛' RD 접근법에 대한 통계적 이론의 부족을 해결하기 위해, 처리 임계값 근처의 데이터를 제거하여 복원성 테스트를 수행하는 방식.
• 표준 RD 가정 하에서 도넛 RD 추정기의 편향, 분산, 효율성의 상호 교환 관계를 공식적으로 분석하기 위해.
• 기존 추정기와 도넛 추정기 간의 의존성을 고려한, 편향 인식 기반의 추론 절차—특히 편향 인식 기반의 신뢰구간과 사양 검정—을 개발하기 위해.
• 도넛 프레임워크에서 RD 가정 위반 여부를 탐지하기 위한 새로운 사양 검정의 검정력과 크기 성질을 평가하기 위해.
• 이론적 및 시뮬레이션 증거를 바탕으로 도넛 RD가 언제 더 바람직하거나 오해의 소지가 있는지에 대한 실증적 지침을 제공하기 위해.

제안 방법

• 지역 선형 회귀와 삼각형 및 균일 커널을 사용한 도넛 RD 추정기의 渐近적 편향과 분산 전개를 유도하며, 밴드위드의 10% 이내 데이터를 제거할 경우 편향이 41–63% 증가하고 분산이 53–61% 증가함을 보임.
• Armstrong와 Kolesár(2018), Kolesár와 Rothe(2018)의 편향 인식 기반 신뢰구간을 도넛 RD 설정에 적응시켜, 조정 없이도 여전히 유효함을 증명함. 다만, 유효 표본 수 감소와 분산 증가로 인해 길이가 22–28% 증가함.
• 추정기 간 차이를 바탕으로 한 새로운 사양 검정을 제안하며, 이는 대안 가설 하에서 기존 $ \widehat{\Delta} $-기반 검정보다 더 높은 국소 검정력을 보임.
• 표본 크기가 증가함에 따라 배제 창문이 줄어드는 작은 도넛 점근적 프레임워크를 도입하여, 도넛 설계 하에서 편향과 분산의 이론적 분석을 가능하게 함.
• 시뮬레이션 연구를 수행하며 $ n = 1,000 $, 삼각형 커널, 밴드위드 $ h = 0.49 $, 배제 창문 $ d = 0.1 $ 조건에서, 조건부 기대값의 편차 $ L \in \{0,10,\dots,40\} $ 수준에 따라 전통적 및 도넛 RD를 비교함.
• 실제 사례에 제안된 추론 도구를 적용: 1500g 출생체중 임계값 근처의 영아 사망률을 분석하여, 도넛 RD가 결론을 어떻게 변화시킬 수 있으며, 공식적인 통계적 검증이 필요함을 보임.

실험 결과

연구 질문

• RQ1 표준 RD 가정 하에서 도넛 RD 추정기의 편향과 분산은 전통적 RD 추정기와 어떻게 비교되는가?
• RQ2 편향 인식 기반의 신뢰구간은 도넛 RD 설정에서 유효한가? 그리고 기존 구간과 길이 측면에서 어떻게 비교되는가?
• RQ3 기존 추정기와 도넛 추정기의 높은 상관관계를 고려한, 유효한 통계 검정을 구성할 수 있는가?
• RQ4 제안된 사양 검정의 검정력은 기존 방법 대비 도넛 RD 설계에서 모형 불일치를 탐지하는 데 얼마나 높은가?
• RQ5 어떤 조건에서 실증적 및 시뮬레이션 증거에 기반해 도넛 RD 추정이 전통적 RD보다 더 정확한 추정을 제공하는가?

주요 결과

• 표준 RD 가정 하에서 밴드위드의 10% 이내 데이터를 제거할 경우 도넛 RD 추정기는 전통적 RD 추정기 대비 41–63% 높은 편향과 53–61% 높은 분산을 보임.
• 편향 인식 기반의 신뢰구간은 도넛 RD 설정에서도 유효하지만, 유효 표본 수 감소와 분산 증가로 인해 渐近적 길이가 22–28% 증가함.
• 제안된 $ \widehat{\Gamma} $ 기반 사양 검정은 기존 $ \widehat{\Delta} $-기반 검정보다 시뮬레이션 설정에서 엄격히 더 높은 검정력을 보이며, 특히 임계값 근처에서 강한 편차가 있는 대안에서 두드러짐.
• 모든 시뮬레이션 상황에서 도넛 RD의 신뢰구간 피커지 커버리지가 유지되나, 진정한 조건부 기대값이 임계값 근처에서 매끄럽지 않을수록 전통적 신뢰구간의 커버리지가 악화됨.
• 도넛 추정기의 평균제곱오차(RMSE)는 RD 가정에서 극단적인 편차가 발생할 경우에만(예: $ L = 40 $) 기존 추정기보다 작아지며, 이는 도넛 RD가 일반적으로 더 효율적이지 않음을 시사함.
• 1500g 기준 출생체중에서의 실증 적용 사례에서, 전통적 RD 추정치는 0.95%이며 표준오차는 0.22%였고, 도넛 RD 추정치는 0.16%로 감소하였고 표준오차는 0.28%로 증가함. 이는 두 추정치의 차이가 통계적으로 의미 있는지 평가하기 위해 공식적인 추론이 필요함을 보여줌.