[论文解读] Dropping Standardized Testing for Admissions Trades Off Information and Access

Nikhil Garg, Hannah Li+1 more|arXiv (Cornell University)|Oct 9, 2020

Game Theory and Voting Systems被引用 5

一句话总结

本文提出了一种统计歧视框架，用于分析在大学招生中取消标准化考试时，信息增益与准入不平等之间的权衡。研究发现，取消考试可能改善或恶化学术能力与多样性，具体取决于群体特定的准入障碍和特征的信息量，且存在一个临界条件，决定取消考试是否能同时提升公平性与学术 merit。

ABSTRACT

We study the role of information and access in capacity-constrained selection problems with fairness concerns. We develop a theoretical statistical discrimination framework, where each applicant has multiple features and is potentially strategic. The model formalizes the trade-off between the (potentially positive) informational role of a feature and its (negative) exclusionary nature when members of different social groups have unequal access to this feature. Our framework finds a natural application to recent policy debates on dropping standardized testing in college admissions. Our primary takeaway is that the decision to drop a feature (such as test scores) cannot be made without the joint context of the information provided by other features and how the requirement affects the applicant pool composition. Dropping a feature may exacerbate disparities by decreasing the amount of information available for each applicant, especially those from non-traditional backgrounds. However, in the presence of access barriers to a feature, the interaction between the informational environment and the effect of access barriers on the applicant pool size becomes highly complex. In this case, we provide a threshold characterization regarding when removing a feature improves both academic merit and diversity. Finally, using calibrated simulations in both the strategic and non-strategic settings, we demonstrate the presence of practical instances where the decision to eliminate standardized testing improves or worsens all metrics.

研究动机与目标

• 将特征（例如考试成绩）的信息价值与因社会群体间准入不均而产生的排斥影响之间的权衡形式化。
• 研究移除如标准化考试等特征如何影响在容量受限的招生决策中的学术 merit 与多样性。
• 识别在存在准入差异的情况下，移除某特征能同时提升学术 merit 与多样性的条件。
• 建模特征信息量与群体特定准入对申请人池构成及录取结果的联合影响。
• 提供一个临界条件，以确定何时取消某特征能同时提升公平性与学术 merit，结合校准模拟进行分析。

提出的方法

• 构建一个理论性的统计歧视模型，其中申请人具有多个特征，且可能在申请行为上具有策略性。
• 使用分层正态分布模型表示申请人技能分布，包含群体特定的方差以及特征间的相关性。
• 利用逆 Mills 比率与风险率函数，推导在不同政策（有/无考试）下被录取学生的期望技能水平。
• 引入一个临界条件 $\hat{\gamma}_g$，该条件基于准入不平等与特征信息量，决定是否取消考试能提升群体 $g$ 的学术 merit。
• 在策略性与非策略性情境下进行校准模拟，以评估多种情境下的政策结果。
• 将该框架应用于德克萨斯州高等教育机会项目（THEOP）的真实数据，以验证研究发现。

实验结果

研究问题

• RQ1 在何种条件下，取消标准化考试能同时提升大学招生中的学术 merit 与多样性？
• RQ2 某特征（如考试准备）的准入不平等如何与该特征的信息价值相互作用，从而影响招生结果？
• RQ3 决定是否移除某特征能惠及特定社会群体的准入不平等临界水平（$\hat{\gamma}_g$）是什么？
• RQ4 特征信息量与准入障碍的联合效应如何影响申请人池的构成与最终的招生决策？
• RQ5 在哪些实际情境中，取消标准化考试会导致所有公平性与 merit 指标改善或恶化？

主要发现

• 取消标准化考试可能减少用于评估申请人的信息量，特别是对非传统背景的申请人，可能加剧基于 merit 的选拔偏差。
• 移除某特征的决策不能孤立看待；其影响取决于其他特征的联合背景及其对申请人池构成的影响。
• 临界条件 $\hat{\gamma}_g$ 决定是否移除某特征能提升群体 $g$ 的学术 merit；该临界值随该特征对群体 $g$ 预测能力的方差增大而提高。
• 当准入不平等较高且特征具有高度信息量时，移除该特征可能降低代表性不足群体的学术 merit；但当准入较低且特征噪声较大时，移除该特征可能提升 merit。
• 校准模拟显示，在某些实际情境中，取消标准化考试可能同时改善或恶化 merit 与多样性，具体取决于群体特定的准入情况与特征质量。
• 临界值 $\hat{\gamma}_g$ 仅取决于群体特定特征与目标多样性水平，而不受群体间经济不平等的影响，前提是实行平权行动政策。