[논문 리뷰] Evaluating the Causal Effect of University Grants on Student Dropout: Evidence from a Regression Discontinuity Design Using Principal Stratification

Fan Li, Alessandra Mattei외 1명|arXiv (Cornell University)|2015. 07. 15.

Advanced Causal Inference Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 등급 기반 임계값 주변의 국소적 랜덤화를 활용하여, 자발적 지원을 중간 변수로 고려한 회귀 불연속(RD) 프레임워크 내에서 베이지안 주요 군집 분석 방법을 제안하여 이탈리아 대학 장학금이 학생 이탈에 미치는 인과적 영향을 추정한다. 결과적으로, 저소득 학생들에 대해 장학금이 이탈을 유의하게 감소시키며, 민감도 분석을 통해도 강력한 결과를 보인다.

ABSTRACT

Regression discontinuity (RD) designs are often interpreted as local randomized experiments: a RD design can be considered as a randomized experiment for units with a realized value of a so-called forcing variable falling around a pre-fixed threshold. Motivated by the evaluation of Italian university grants, we consider a fuzzy RD design where the receipt of the treatment is based on both eligibility criteria and a voluntary application status. Resting on the fact that grant application and grant receipt statuses are post-assignment (post-eligibility) intermediate variables, we use the principal stratification framework to define causal estimands within the Rubin Causal Model. We propose a probabilistic formulation of the assignment mechanism underlying RD designs, by re-formulating the Stable Unit Treatment Value Assumption (SUTVA) and making an explicit local overlap assumption for a subpopulation around the threshold. A local randomization assumption is invoked instead of more standard continuity assumptions. We also develop a model-based Bayesian approach to select the target subpopulation(s) with adjustment for multiple comparisons, and to draw inference for the target causal estimands in this framework. Applying the method to the data from two Italian universities, we find evidence that university grants are effective in preventing students from low-income families from dropping out of higher education.

연구 동기 및 목표

• 장학금 배정이 자격 기준과 자발적 지원 여부에 따라 달라지는 이탈리아 대학에서 장학금의 인과적 영향이 학생 이탈에 미치는 영향을 평가하기 위해.
• 흐린 RD 설계에서 자발적 지원 행동으로 인한 혼란 요인을 해결하기 위해, 지원 상태를 할당 후 중간 변수로 모델링함으로써.
• 국소적 랜덤화를 바탕으로 하여 연속성 가정에 의존하지 않고, 목표 하위집단을 선별하고 인과 효과를 추정하는 모델 기반의 베이지안 접근법을 개발하기 위해.
• 강력한 결과를 확보하기 위해, 강제 변수나 사전 처리 공변수를 조건으로 하는 다양한 모델 사양에 대한 민감도 분석을 수행하기 위해.
• 경제적으로 열악한 학생들 중에서 장학금이 실제로 이탈을 방지하는 데 효과적인지 정책적으로 유의미한 증거를 제공하기 위해.

제안 방법

• 루빈 인과 모델 내에서 주요 군집 분석을 사용하여, 잠재적 지원 및 수혜 상태에 기반한 인과 추정치를 정의한다.
• SUTVA를 재정의하고 임계값 근처에서 국소적 오버랩 가정을 도입하는 확률적 할당 메커니즘을 제안한다.
• 기존의 연속성 가정을 국소적 랜덤화 가정으로 대체하여, 임계값 근처의 단위들을 마치 무작위로 할당된 것처럼 취급한다.
• 다중 비교 조정을 고려하여 주요 군집 확률과 잠재적 결과를 추정하기 위해 베이지안 계층 모델을 개발한다.
• 마르코프 체인 몬테카를로(MCMC) 방법을 사용하여 사후 분포를 시뮬레이션하고, 모델 검증을 위해 사후 예측 검증을 실시한다.
• 강제 변수, 사전 처리 공변수 또는 둘 다를 조건으로 하는 모델 간 결과 비교를 통해 국소적 랜덤화의 타당성을 검증하기 위해 민감도 분 析를 수행한다.

실험 결과

연구 질문

• RQ1 이탈리아의 저소득 지원자들 중에서 대학 장학금을 수혜로 받는 것이 학생 이탈의 가능성을 줄이는가?
• RQ2 자발적 장학금 지원가 장기적으로 표준 RD 추론의 타당성에 영향을 미치며, 이를 어떻게 인과적으로 모델링할 수 있는가?
• RQ3 지원 및 수혜 행동에 따라 정의된 특정 주요 군집 내에서 장학금의 인과 효과는 무엇인가?
• RQ4 국소적 랜덤화 가정 위반에 대해 인과 추정치는 얼마나 민감한가?
• RQ5 중간 변수가 있는 흐린 RD 설계에서, 베이지안 모델 기반 접근법이 하위집단 선별과 추론을 어떻게 향상시킬 수 있는가?

주요 결과

• 이 연구는 이탈리아의 저소득 학생들 중에서 대학 장학금이 이탈률을 유의미하게 감소시킨다는 강력한 증거를 발견하였다.
• 인과 효과는 자격이 있을 경우 지원할 것이고, 자격이 없을 경우 지원하지 않을 것으로 예상되는 학생들의 주요 군집 내에서 추정되었으며, 이는 장학금의 진정한 영향을 반영한다.
• 강제 변수 또는 사전 처리 공변수를 조건으로 하는 다양한 모델 사양에 대해 결과가 강건하여, 국소적 랜덤화 가정의 신뢰성을 뒷받침한다.
• 베이지안 접근법은 관련 하위집단을 성공적으로 선별하고, 자격 기준 근처에서 정밀한 사후 추정치를 제공하였다.
• 민감도 분 析를 통해 추론이 모델 세부 사양에 크게 의존하지 않음을 확인하여, 국소적 랜덤화 프레임워크의 타당성을 강화하였다.
• 연구 결과는 경제적으로 열악한 학생들의 고등교육 유지를 향상시키기 위해 장학금이 효과적인 정책 도구가 될 수 있음을 지지한다.