[논문 리뷰] Local Randomization and Beyond for Regression Discontinuity Designs: Revisiting a Causal Analysis of the Effects of University Grants on Dropout Rates

Zach Branson, Fabrizia Mealli|arXiv (Cornell University)|2018. 10. 05.

Advanced Causal Inference Techniques참고 문헌 45인용 수 3

한 줄 요약

이 논문은 회귀단절설계(RDD)의 국소 랜덤화 프레임워크를 일반적인 할당 메커니즘—예를 들어 베르누이 시험과 블록 랜덤화—로 확장하여, 절단점 근처에서 이질적인 성향 스코어를 수용한다. 완전 랜덤화 하에서 모든 단위의 성향 스코어가 동일하다는 가정을 완화함으로써, 할당 메커니즘의 타당성에 대한 공변수 조정과 정확한 랜덤화 검정이 가능해져, 이탈리아 대학 장학금과 중도탈락률에 대한 흐린 RDD에서 더 정밀한 인과적 추론을 가능하게 한다.

ABSTRACT

Regression discontinuity designs (RDDs) are a common quasi-experiment in economics, education, medicine, and statistics. While the most popular methodologies for analyzing RDDs are local polynomial regression methods, a recent strand of literature has developed a local randomization perspective for RDDs. A benefit of the local randomization perspective is that it avoids modeling assumptions, and instead places assumptions on the assignment mechanism for units near the cutoff in an RDD. However, most works have only considered completely randomized assignment mechanisms characterized by permutations of the treatment indicator, which posit that propensity scores are equal for all units near the cutoff. In this work, we extend the local randomization framework to allow for any assignment mechanism, such as Bernoulli trials and block randomization, where propensity scores are allowed to differ. By relaxing this assumption on the propensity scores, our methodology provides a way to adjust for covariates in an RDD from a local randomization perspective---this differs from other works on covariate adjustment for RDDs, which take a local regression perspective. We also develop exact randomization tests for covariate balance to test whether a particular assignment mechanism holds within an RDD. These tests allow for multiple testing corrections and can be used to select the largest window around the cutoff where a particular assignment mechanism is most plausible. Then, an analysis using this assignment mechanism can be conducted within that window. We apply our methodology to a fuzzy RDD that assesses the effects of financial aid on college dropout rates in Italy. We find that alternative assumptions on the assignment mechanism, such as block randomization, can lead to more precise causal inferences than the completely randomized assignment mechanism assumption that is common in the literature.

연구 동기 및 목표

• 절단점 근처의 모든 단위가 동일한 성향 스코어를 가진 완전 랜덤화 할당을 전제로 하는 기존 국소 랜덤화 방법의 한계를 해결하기 위해.
• 성향 스코어가 다를 수 있는 다양한 할당 메커니즘—예를 들어 블록 랜덤화와 베르누이 시험—을 수용할 수 있는 유연한 프레임워크를 개발하기 위해.
• 기존 국소 회귀 기반 접근 방식과 다름없이 국소 랜덤화 관점 내에서 공변수 조정을 가능하게 하기 위해.
• 특정 할당 메커니즘이 절단점 주변의 주어진 창에서 타당한지 평가하기 위한 정확한 랜덤화 검정을 도입하기 위해.
• 특정 할당 메커니즘이 가장 타당한 분석 창을 선택하여 강력한 인과적 추론을 지원하기 위해.

제안 방법

• 완전 랜덤화 외의 어떤 알려진 할당 메커니즘도 허용할 수 있도록 국소 랜덤화 프레임워크를 일반화하기 위해.
• 할당 메커니즘을 알려진 확률을 가진 확률적 과정으로 모델링하여(예: 베르누이 또는 블록 랜덤화), 절단점 근처에서 균일하지 않은 성향 스코어를 허용하기 위해.
• 관측된 할당 메커니즘이 가정된 모델과 일치하는지 평가하기 위해 순열 기반 추론을 사용하는 정확한 랜덤화 검정을 구성하기 위해.
• 절단점 주변의 다수의 후보 창을 평가할 때 랜덤화 검정에 다중 검정 보정을 적용하기 위해.
• 할당 메커니즘이 통계적으로 타당한 가장 큰 창을 선택하여 이후 인과적 추론의 타당성을 확보하기 위해.
• 선택된 창과 가정된 할당 메커니즘을 사용하여 인과적 추론를 수행하고, 특정 설계 하에서 잠재적 결과를 통한 공변수 조정을 통합하기 위해.

실험 결과

연구 질문

• RQ1 RDD의 국소 랜덤화 방법은 완전 랜덤화 가정을 초월하여 더 현실적인 할당 메커니즘을 수용할 수 있는가?
• RQ2 회귀 모델링 가정에 의존하지 않고 국소 랜덤화 프레임워크에 공변수 조정을 의미 있게 통합할 수 있는가?
• RQ3 특정 할당 메커니즘이 절단점 주변의 주어진 창에서 타당한지 평가하기 위해 사용할 수 있는 통계적 검정은 무엇인가?
• RQ4 할당 메커니즘의 선택(예: 블록 랜덤화 대비 완전 랜덤화)이 RDD에서 인과 효과 추정의 정밀도에 어떤 영향을 미치는가?
• RQ5 특정 할당 메커니즘이 가장 타당한 절단점 주변의 최적 창 크기는 무엇이며, 이를 체계적으로 어떻게 결정할 수 있는가?

주요 결과

• 제안된 프레임워크는 성향 스코어가 절단점 근처에서 변할 수 있는 블록 랜덤화와 베르누이 시험을 포함한 일반 할당 메커니즘 하에서도 유효한 인과적 추론을 가능하게 한다.
• 동일한 성향 스코어 가정을 완화함으로써, 기존의 완전 랜덤화 할당 가정에 비해 더 정밀한 인과 효과 추정이 가능해진다.
• 할당 메커니즘 타당성에 대한 정확한 랜덤화 검정은 특정 메커니즘이 데이터와 통계적으로 일치하는 절단점 주변의 가장 큰 창을 효과적으로 식별하는 데 유용하다.
• 이탈리아 대학 장학금 RDD에서 블록 랜덤화를 할당 메커니즘으로 사용할 경우, 전통적인 완전 랜덤화 가정에 비해 더 정밀한 인과 추정치를 도출할 수 있었다.
• 국소 랜덤화 프레임워크 내에서 공변수 조정이 가능하여, 회귀 기반 조정 방법에 대한 모델에 의존하지 않는 대안을 제공한다.
• 랜덤화 검정에서의 다중 검정 보정은 분석 창을 선택할 때 타당성을 확보하고 유형 I 오류 비율을 감소시켜 강건성을 높인다.