[논문 리뷰] Impact of Bias on School Admissions and Targeted Interventions.

Yuri Faenza, Swati Gupta외 1명|arXiv (Cornell University)|2020. 04. 22.

School Choice and Performance참고 문헌 25인용 수 6

한 줄 요약

이 논문은 학교 입학에서의 암묵적 편향이 학생의 성과에 미치는 영향을 분석하는 최초의 수학적 모델을 제시하며, 목표 지정된 간섭 전략을 평가한다. 학생 잠재력의 파레토 및 가우시안 분포를 사용하여, 학교가 평가 방법을 변경할 동기가 거의 없으며, 제한된 자원은 평균 학생을 대상으로 할 때 가장 효과적임을 발견한다. 이는 기존의 학술 모델과 도전적인 대안을 제시한다.

ABSTRACT

Evaluation criteria for school admissions do not account for the of implicit bias on applications, due to e.g., socioeconomic status of students or training resources available to them. We present, to the best of our knowledge, the first mathematical analysis of the of evaluations of students on school admissions. In our model, students have a unanimous ranking of schools, schools observe biased potentials for a group of students and true potentials for others, and then accept the best students from those available to them. Our framework for evaluating the effects of bias and of targeted intervention can incorporate any distribution of students' potentials and deals with the following questions: how much are students and schools affected by such bias; do schools have an incentive to interview students; how should limited resources be allocated to minimize the impact of bias on students. When students' potentials are Pareto distributed, we find that schools have little incentive to change their evaluation mechanisms. Moreover, additional resources are best targeted at average students, as opposed to top students, thus questioning existing scholarship mechanisms. This optimal target range shifts towards top students, when students' potentials are Gaussian distributed. We validate these findings using SAT scores data from New York City high schools. Our conclusions are robust, as qualitative takeaways from our analysis remain the same even when some of our modeling assumptions are relaxed.

연구 동기 및 목표

• 암묵적 편향이 학교 입학에 미치는 영향이 학생의 성과에 어떻게 작용하는지 분석하기 위해.
• 편향된 평가 하에서 학교가 평가 과정을 수정할 동기가 있는지 평가하기 위해.
• 편향이 학생 입학에 미치는 영향을 최소화하기 위해 제한된 자원을 어떻게 할당할지 최적화하기 위해.
• 학생 잠재력의 분포(파레토 대비 가우시안)가 간섭 효과에 어떻게 영향을 미치는지 평가하기 위해.
• 뉴욕 시 고등학교의 실제 SAT 데이터를 사용하여 이론적 결과를 검증하기 위해.

제안 방법

• 다른 학생 집단의 편향된 잠재력과 진정한 잠재력에 기반해 학교의 입학 결정을 모델링하는 수학적 프레임워크를 개발한다.
• 학생들이 학교를 균일하게 순위 매긴다고 가정하며, 학교는 가용한 편향된 또는 진정한 잠재력에서 최상의 지원자를 선발한다.
• 학생의 잠재력을 표현하기 위해 파레토 및 가우시안 분포를 사용하여, 다양한 가정 하에서 편향의 영향을 분석할 수 있도록 한다.
• 편향 영향을 줄이기 위한 제한된 자원의 가장 효과적인 할당을 결정하기 위해 최적화 기법을 적용한다.
• 뉴욕 시 고등학교의 실질적 SAT 점수 데이터를 사용하여 이론적 결과를 검증한다.
• 핵심 모델링 가정을 완화하여 질적 결과의 탄력성을 시험한다.

실험 결과

연구 질문

• RQ1 평가에서의 암묵적 편향이 다양한 학생 집단의 입학 결과에 어떻게 영향을 미치는가?
• RQ2 편향된 신호가 존재할 때 학교가 평가 메커니즘을 변경할 동기가 있는가?
• RQ3 편향의 영향을 최소화하기 위해 제한된 간섭 자원을 어디에 할당해야 가장 효과적인가?
• RQ4 학생 잠재력이 서로 다른 분포(예: 파레토 대비 가우시안)를 따를 경우 최적의 간섭 대상은 어떻게 변화하는가?
• RQ5 핵심 모델링 가정이 완화될 경우 주요 발견이 탄력성을 유지하는가?

주요 결과

• 학교는 편향된 신호가 존재하더라도 평가 메커니즘을 변경할 동기가 거의 없다.
• 학생 잠재력이 파레토 분포를 따를 경우, 추가 자원은 상위 성과자보다 평균 학생을 대상으로 할 때 가장 효과적이다.
• 학생 잠재력이 가우시안 분포를 따를 경우 최적의 간섭 대상은 상위 학생 쪽으로 이동한다.
• 잠재력의 분포나 편향의 구조와 같은 핵심 가정이 완화되어도 모델의 질적 결론은 탄력성을 유지한다.
• 뉴욕 시 고등학교의 SAT 데이터를 활용한 실증 검증이 이론적 결과를 지지한다.
• 기존의 상위 학생을 우선시하는 학술 메커니즘은 재고가 필요하며, 자원 할당 전략을 재검토할 것을 제안한다.