[論文レビュー] Difficult Lessons on Social Prediction from Wisconsin Public Schools

Juan C. Perdomo, Tolani Britton+2 more|arXiv (Cornell University)|Apr 13, 2023

Educational Assessment and Improvement被引用数 23

ひとこと要約

この論文はウィスコンシン州の Dropout Early Warning System (DEWS) の卒業への長期的影響を評価し、環境特性が介入の個人リスクスコアの標的化力と同等またはそれを超えることができると主張する。 また、控えめで不確かな効果を文書化し、 dropout 結果における構造的要因の重要性を強調する。

ABSTRACT

Early warning systems (EWS) are predictive tools at the center of recent efforts to improve graduation rates in public schools across the United States. These systems assist in targeting interventions to individual students by predicting which students are at risk of dropping out. Despite significant investments in their widespread adoption, there remain large gaps in our understanding of the efficacy of EWS, and the role of statistical risk scores in education. In this work, we draw on nearly a decade's worth of data from a system used throughout Wisconsin to provide the first large-scale evaluation of the long-term impact of EWS on graduation outcomes. We present empirical evidence that the prediction system accurately sorts students by their dropout risk. We also find that it may have caused a single-digit percentage increase in graduation rates, though our empirical analyses cannot reliably rule out that there has been no positive treatment effect. Going beyond a retrospective evaluation of DEWS, we draw attention to a central question at the heart of the use of EWS: Are individual risk scores necessary for effectively targeting interventions? We propose a simple mechanism that only uses information about students' environments -- such as their schools, and districts -- and argue that this mechanism can target interventions just as efficiently as the individual risk score-based mechanism. Our argument holds even if individual predictions are highly accurate and effective interventions exist. In addition to motivating this simple targeting mechanism, our work provides a novel empirical backbone for the robust qualitative understanding among education researchers that dropout is structurally determined. Combined, our insights call into question the marginal value of individual predictions in settings where outcomes are driven by high levels of inequality.

研究の動機と目的

• ウィスコンシン州におけるDEWSが高等学校の卒業へ長期的に与える影響を評価する。
• 学生群間でのDEWSリスク予測の精度と公正性を検討する。
• 環境ベースの特徴による介入のターゲティングがDEWSの成果に匹敵するかを検討する。
• 回帰不連続設計を用いて高リスクラベルの割り当てが卒業に与える因果効果を定量化する。
• 介入のより単純で環境ベースのターゲティング機構を提案する。

提案手法

• DEWS を、連続的なリスクスコア p(x) に基づく介入ニーズのランキング/ソーティングツールとして扱う。
• 複数のコホートにわたるDEWSの8年生予測のキャリブレーションと識別力を評価する（8年生 2013–2021 の n≈215,000）。
• ROC/AUCとキャリブレーション曲線を用いて相対リスクと絶対リスクの精度を評価する（AUC ≈ 0.8; キャリブレーションは絶対リスクを過小評価）。
• DEWS閾値 t* = 0.785 の周りで回帰不連続設計を適用し、より高リスクラベル付与がオンタイム卒業に与える因果影響を推定する。
• p(x) の周りで近似一定誤差 e(x) ≈ 0.03 を用いて調整スコア（ℓ(x), u(x)）を定義し RD 分析を実装する。
• 環境特徴のみを用いたターゲティングとDEWSベースのターゲティングを比較し、より単純な区町レベルのターゲティングが介入効果を満たすかを判断する。

実験結果

リサーチクエスチョン

• RQ1 DEWS は、全体の集団および周辺化された集団において、退学リスクを正確に識別し、学生を真のリスク順にランク付けできるか。
• RQ2 回帰不連続設計に基づき、より高い DEWS リスクラベルがオンタイム卒業率を因果的に改善するか。
• RQ3 環境的な特徴（学区/学校レベル）が、個人リスクスコアと比べて介入ターゲティングの有効性に十分か。
• RQ4 人口統計学的グループ（例：人種、障害、フリーランチ状況）で予測精度とキャリブレーションはどう異なるか。
• RQ5 個人リスクベースのターゲティングより環境ベースのターゲティングを採用する際の実際的・政策的含意は何か。

主な発見

• DEWSのリスクカテゴリは、実際のオンタイム卒業率で学生を意味のある形で分ける（低リスクは約97%、高リスクは<70%、中間リスクは83%）。
• DEWSスコアは相対的識別力が良好（AUC ≈ 0.8）、ただし絶対リスクのキャリブレーションは不正確であり、しかし順位は保持される。
• 回帰不連続は、高リスクラベルへ移動させた場合、オンタイム卒業率が約5% 上昇する点推定を示し、95%信頼区間は -2% to 12%（統計的に有意ではない）。
• ウィスコンシン州の学区の3分の2が定期的にDEWSを利用しており、規模の大きい学区や周辺化人口の多い学区で利用が多い。
• 学校/学区の特徴を用いた環境ベースのターゲティング機構は、介入ターゲティングにおいてDEWSと同等に効果的となり得、より単純で安価、正当化しやすい。