[논문 리뷰] Difficult Lessons on Social Prediction from Wisconsin Public Schools

Juan C. Perdomo, Tolani Britton외 2명|arXiv (Cornell University)|2023. 04. 13.

Educational Assessment and Improvement인용 수 23

한 줄 요약

이 논문은 Wisconsin의 Dropout Early Warning System(DEWS)가 졸업에 미치는 장기적 영향을 평가하고, 환경 특징이 개별 위험 점수의 타깃팅 파워에 맞먹거나 이를 능가할 수 있음을 주장합니다. 또한 미미하고 불확실한 효과를 문서화하고, 중퇴 결과에서 구조적 요인의 우선성을 강조합니다.

ABSTRACT

Early warning systems (EWS) are predictive tools at the center of recent efforts to improve graduation rates in public schools across the United States. These systems assist in targeting interventions to individual students by predicting which students are at risk of dropping out. Despite significant investments in their widespread adoption, there remain large gaps in our understanding of the efficacy of EWS, and the role of statistical risk scores in education. In this work, we draw on nearly a decade's worth of data from a system used throughout Wisconsin to provide the first large-scale evaluation of the long-term impact of EWS on graduation outcomes. We present empirical evidence that the prediction system accurately sorts students by their dropout risk. We also find that it may have caused a single-digit percentage increase in graduation rates, though our empirical analyses cannot reliably rule out that there has been no positive treatment effect. Going beyond a retrospective evaluation of DEWS, we draw attention to a central question at the heart of the use of EWS: Are individual risk scores necessary for effectively targeting interventions? We propose a simple mechanism that only uses information about students' environments -- such as their schools, and districts -- and argue that this mechanism can target interventions just as efficiently as the individual risk score-based mechanism. Our argument holds even if individual predictions are highly accurate and effective interventions exist. In addition to motivating this simple targeting mechanism, our work provides a novel empirical backbone for the robust qualitative understanding among education researchers that dropout is structurally determined. Combined, our insights call into question the marginal value of individual predictions in settings where outcomes are driven by high levels of inequality.

연구 동기 및 목표

• DEWS가 위스콘신 주 고등학교 졸업에 미치는 장기적 영향 평가.
• DEWS 위험 예측의 정확도와 다양한 학생 집단 간 공정성 검토.
• 환경 기반 특징으로의 타깃팅이 DEWS의 결과와 대등한지 여부 조사.
• RD(회귀 불연속) 설계를 사용해 고위험 라벨 부여의 졸업에 대한 인과 효과를 정량화.
• 개입을 위한 더 간단한 환경 기반 타깃팅 기제를 제안하여 중재의 효율성 확보

제안 방법

• 연속적인 위험 점수 p(x)에 기반한 개입 필요성에 대한 순위/정렬 도구로 DEWS를 처리합니다.
• 여러 코호트에서 DEWS 8학년 예측의 보정(calibration) 및 구분성(discrimination) 평가(8학년 2013–2021, n≈215,000).
• ROC/AUC와 보정 곡선을 사용해 상대 위험도와 절대 위험도 정확도 평가(AUC ≈ 0.8; 보정은 절대 위험도를 과소 추정).
• DEWS 임계치 t* = 0.785를 중심으로 회귀 불연속 설계를 적용해 더 높은 위험 라벨링의 인과 효과를 on-time 졸업으로 추정.
• p(x) 주변의 조정 점수 ℓ(x), u(x)와 거의 상수 오차 e(x) ≈ 0.03를 정의해 RD 분석 구현.
• 환경 특징만으로의 타깃팅이 DEWS 기반 타깃팅과 동일한 효과를 낼 수 있는지 비교해 간단한 구역 수준 타깃팅으로도 중재 효과가 충분한지 판단

실험 결과

연구 질문

• RQ1 DEWS가 전체 인구와 소외된 그룹에서 실제 위험과 학생들을 정확히 식별하고 순위를 매기는가?
• RQ2 회귀 불연속 설계에 따라 더 높은 위험 라벨링이 on-time 졸업률을 인과적으로 개선하는가?
• RQ3 환경(구/학교 수준) 특징이 개별 위험 점수보다 효과적인 개입 타깃팅에 충분한가?
• RQ4 인구통계학적 그룹(예: 인종, 장애, 무상 점심 여부)에 따라 예측 정확도와 보정은 어떻게 달라지는가?
• RQ5 개인 위험 기반 타깃팅보다 환경 기반 타깃팅을 채택하는 실용적 및 정책적 함의는 무엇인가?

주요 결과

• DEWS 위험 범주가 실제 on-time 졸업률로 의미 있게 학생들을 구분합니다(저위험 ≈ 97% vs 고위험 < 70%; 중간위험 83%).
• DEWS 점수는 상대적 구분력이 좋지만(가치 AUC ≈ 0.8), 절대 위험도 측면에서 보정이 부정확하고, 순위는 보존됩니다.
• 회귀 불연속은 고위험 라벨로 이동시 on-time 졸업의 약 5% 상승의 점추정치를 시사하지만(95% CI -2% ~ 12%), 통계적으로 확정적이지 않습니다.
• 위스콘신 주의 구 중 2/3가 DEWS를 정기적으로 사용하며, 큰 구역일수록 사용이 많고 소외 인구 비율이 높은 구의 사용도 많습니다.
• 학교/구의 환경 기반 타깃팅 메커니즘은 개입 타깃팅에 DEWS만큼 효과적일 수 있으며, 더 단순하고 저렴하며 정당화하기 쉽습니다.