[논문 리뷰] Dropping Standardized Testing for Admissions Trades Off Information and Access

Nikhil Garg, Hannah Li외 1명|arXiv (Cornell University)|2020. 10. 09.

Game Theory and Voting Systems인용 수 5

한 줄 요약

이 논문은 대학 입학에서 표준화 시험을 폐지할 때의 정보 확보와 접근 불평등 사이의 트레이드오프를 분석하기 위해 통계적 차별 프레임워크를 개발한다. 시험 폐지가 학문적 능력과 다양성에 미치는 영향은 그룹별 접근 장벽과 특성의 정보성에 따라 향상되기도 하고 악화되기도 하며, 이는 공정성과 학문적 능력 향상에 유리한지 여부를 결정하는 임계 조건에 따라 달라진다.

ABSTRACT

We study the role of information and access in capacity-constrained selection problems with fairness concerns. We develop a theoretical statistical discrimination framework, where each applicant has multiple features and is potentially strategic. The model formalizes the trade-off between the (potentially positive) informational role of a feature and its (negative) exclusionary nature when members of different social groups have unequal access to this feature. Our framework finds a natural application to recent policy debates on dropping standardized testing in college admissions. Our primary takeaway is that the decision to drop a feature (such as test scores) cannot be made without the joint context of the information provided by other features and how the requirement affects the applicant pool composition. Dropping a feature may exacerbate disparities by decreasing the amount of information available for each applicant, especially those from non-traditional backgrounds. However, in the presence of access barriers to a feature, the interaction between the informational environment and the effect of access barriers on the applicant pool size becomes highly complex. In this case, we provide a threshold characterization regarding when removing a feature improves both academic merit and diversity. Finally, using calibrated simulations in both the strategic and non-strategic settings, we demonstrate the presence of practical instances where the decision to eliminate standardized testing improves or worsens all metrics.

연구 동기 및 목표

• 특성(예: 시험 점수)의 정보적 가치와 사회적 집단 간 불균형적 접근으로 인한 배제 영향 사이의 트레이드오프를 정량화하는 것.
• 표준화 시험과 같은 특성을 제거할 경우 자원 제약이 있는 입학 결정에서 학문적 능력과 다양성이 어떻게 영향을 받는지 분석하는 것.
• 특정 사회 집단에 대해 특성을 제거함으로써 학문적 능력과 다양성이 동시에 향상되는 조건을 규명하는 것, 특히 접근 격차가 존재하는 상황에서.
• 특성의 정보성과 그룹별 접근 차이가 지원자 풀의 구성과 선발 결과에 미치는 병합 영향을 모델링하는 것.
• 특성을 폐지했을 때 공정성과 학문적 능력이 향상되는지를 결정하는 임계 조건을 기반으로 한 특성화된 기준을 제공하는 것, 校정된 시뮬레이션을 활용하여.

제안 방법

• 지원자들이 다수의 특성을 지닌 상태에서 전략적으로 지원 행동을 취할 수 있는 이론적 통계적 차별 모델을 개발한다.
• 지원자 기량 분포를 계층적 정규 모델로 표현하며, 그룹별 분산과 특성 간 상관관계를 포함한다.
• 역 밀스 비율 및 고장률 함수를 사용하여 시험 유무에 따라 합격자의 기대 기량 수준을 유도한다.
• 접근 불평등과 특성의 정보성에 기반해 그룹 $g$에 대해 시험 폐지가 학문적 능력을 향상시키는지 여부를 결정하는 임계 조건 $\hat{\gamma}_g$ 를 도입한다.
• 다양한 시나리오에서 정책 결과를 평가하기 위해 전략적 및 비전략적 설정에서 校정된 시뮬레이션을 활용한다.
• 실제 데이터를 바탕으로 텍사스 고등교육 기회 프로젝트(THEOP)에 프레임워크를 적용하여 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 표준화 시험 폐지를 통해 대학 입학에서 학문적 능력과 다양성이 동시에 향상되는 조건은 무엇인가?
• RQ2 특성(예: 시험 준비)에 대한 접근의 불균형성이 그 특성의 정보적 가치와 어떻게 결합되어 입학 결과에 영향을 미치는가?
• RQ3 특정 사회 집단에 대해 특성을 제거함으로써 유리한 영향을 미치는 접근 불평등의 임계 수준($\hat{\gamma}_g$)은 무엇인가?
• RQ4 특성의 정보성과 접근 장벽이 병합되어 지원자 풀의 구성과 최종 입학 결정에 어떻게 영향을 미치는가?
• RQ5 실제 상황에서 표준화 시험을 폐지했을 때 공정성 및 학문적 능력 지표 전반에서 결과가 향상되거나 악화되는 경우는 언제인가?

주요 결과

• 표준화 시험 폐지는 특히 전통적이지 않은 배경의 지원자들에 대해 평가에 필요한 정보의 양을 줄일 수 있으며, 이는 학문적 능력 기반 선발을 악화시킬 수 있다.
• 특성을 제거하는 결정은 다른 특성들과의 상호작용 및 지원자 풀의 구성에 미치는 영향를 고려하지 않고는 내릴 수 없다.
• 특성 제거가 그룹 $g$의 학문적 능력을 향상시키는지 여부를 결정하는 임계 조건 $\hat{\gamma}_g$ 가 존재하며, 이 조건은 해당 그룹에서 특성의 예측 능력의 분산이 클수록 증가한다.
• 접근 불평등이 높고 특성이 높은 정보성을 지닐 경우 시험 폐지는 소수 집단의 학문적 능력을 떨어뜨릴 수 있지만, 접근이 낮고 특성이 잡음이 많은 경우 시험 폐지는 학문적 능력을 향상시킬 수 있다.
• 교정된 시뮬레이션 결과는 그룹별 접근과 특성의 품질에 따라 표준화 시험 폐지가 학문적 능력과 다양성에 모두 유리하거나 불리한 영향을 미칠 수 있음을 보여준다.
• 임계 조건 $\hat{\gamma}_g$ 는 그룹별 특성과 목표 다양성 수준에 따라 결정되며, 정책적 고려 사항으로서의 집단 간 경제적 불평등에는 영향을 받지 않는다. (긍정적 행동 정책 하에서)