[論文レビュー] Impact of Bias on School Admissions and Targeted Interventions.

Yuri Faenza, Swati Gupta+1 more|arXiv (Cornell University)|Apr 22, 2020

School Choice and Performance参考文献 25被引用数 6

ひとこと要約

本稿は、学校入学における暗黙のバイアスが学生の成績に与える影響を分析する最初の数学的モデルを提示し、標的介入の効果を評価する。学生の潜在的能力をパレート分布およびガウス分布でモデル化することで、学校が評価方法を変更するインセンティブがほとんどないことが判明し、限られたリソースは平均的な学生に向けられるべきであると示唆する。これは、従来の学術的モデルに反する。

ABSTRACT

Evaluation criteria for school admissions do not account for the of implicit bias on applications, due to e.g., socioeconomic status of students or training resources available to them. We present, to the best of our knowledge, the first mathematical analysis of the of evaluations of students on school admissions. In our model, students have a unanimous ranking of schools, schools observe biased potentials for a group of students and true potentials for others, and then accept the best students from those available to them. Our framework for evaluating the effects of bias and of targeted intervention can incorporate any distribution of students' potentials and deals with the following questions: how much are students and schools affected by such bias; do schools have an incentive to interview students; how should limited resources be allocated to minimize the impact of bias on students. When students' potentials are Pareto distributed, we find that schools have little incentive to change their evaluation mechanisms. Moreover, additional resources are best targeted at average students, as opposed to top students, thus questioning existing scholarship mechanisms. This optimal target range shifts towards top students, when students' potentials are Gaussian distributed. We validate these findings using SAT scores data from New York City high schools. Our conclusions are robust, as qualitative takeaways from our analysis remain the same even when some of our modeling assumptions are relaxed.

研究の動機と目的

• 入学における暗黙のバイアスが学生の成績に与える影響を分析すること。
• バイアスのある評価下で、学校が評価プロセスを変更するインセンティブがあるかどうかを評価すること。
• バイアスの影響を最小限に抑えるために限られたリソースをどのように最適に配分すべきかを特定すること。
• 学生の潜在的能力の分布（パレート分布対ガウス分布）が介入の効果に与える影響を評価すること。
• ニューヨークシティの高校から得た実際のSATスコアデータを用いて、理論的結果を検証すること。

提案手法

• 異なる学生グループの偏った潜在的能力と真の潜在的能力に基づいて、学校の入学意思決定をモデル化する数学的フレームワークを構築する。
• 学生を学校に対して均一にランク付けすると仮定し、学校は利用可能な偏ったまたは真の潜在的能力から最良の応募者を選抜する。
• パレート分布およびガウス分布を用いて学生の潜在的能力を表現し、異なる仮定下でのバイアスの影響を分析可能にする。
• 限られたリソースの配分を最適化する技術を適用し、バイアスの影響を低減する最も効果的な配分を特定する。
• ニューヨークシティの高校から得た実証的SATスコアデータを用いて理論的結果を検証する。
• 主要なモデル仮定を緩和することで、定性的な発見の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 評価における暗黙のバイアスが、異なる学生グループの入学結果にどのように影響を与えるか？
• RQ2 偏ったシグナルが存在する状況で、学校は評価メカニズムを変更するインセンティブを持つのか？
• RQ3 バイアスの影響を最も効果的に低減するために、限られた介入リソースをどこに配分すべきか？
• RQ4 学生の潜在的能力が異なる分布（例：パレート分布対ガウス分布）に従う場合、最適な介入ターゲットはどのように変化するか？
• RQ5 モデルの核心的仮定を緩和しても、主な発見は妥当性を保っているか？

主な発見

• 学校は、偏ったシグナルが存在しても、評価メカニズムを変更するインセンティブがほとんどない。
• 学生の潜在的能力がパレート分布に従う場合、追加のリソースは上位の学生ではなく、平均的な学生に向けられるべきである。
• 学生の潜在的能力がガウス分布に従う場合、最適な介入ターゲットは上位の学生に向かう。
• 潜在的能力の分布やバイアスの構造といった主要な仮定を緩和しても、モデルの定性的な結論は依然として頑健である。
• ニューヨークシティの高校から得たSATデータを用いた実証的検証により、理論的発見が支持された。
• 上位の学生を優遇する従来の学術的メカニズムに反し、リソース配分戦略の再考が求められる。