[論文レビュー] Dropping Standardized Testing for Admissions Trades Off Information and Access

Nikhil Garg, Hannah Li+1 more|arXiv (Cornell University)|Oct 9, 2020

Game Theory and Voting Systems被引用数 5

ひとこと要約

本稿は、大学進学の入試において標準化テストを廃止する際の、情報の獲得とアクセス格差のトレードオフを分析する統計的差別枠組みを構築する。テストを廃止することは、グループ固有のアクセス障壁と特徴の情報価値に応じて、学力の質と多様性の両方を向上させることも、悪化させることもある。両者の公平性と質の両方を改善するための閾値条件が存在する。

ABSTRACT

We study the role of information and access in capacity-constrained selection problems with fairness concerns. We develop a theoretical statistical discrimination framework, where each applicant has multiple features and is potentially strategic. The model formalizes the trade-off between the (potentially positive) informational role of a feature and its (negative) exclusionary nature when members of different social groups have unequal access to this feature. Our framework finds a natural application to recent policy debates on dropping standardized testing in college admissions. Our primary takeaway is that the decision to drop a feature (such as test scores) cannot be made without the joint context of the information provided by other features and how the requirement affects the applicant pool composition. Dropping a feature may exacerbate disparities by decreasing the amount of information available for each applicant, especially those from non-traditional backgrounds. However, in the presence of access barriers to a feature, the interaction between the informational environment and the effect of access barriers on the applicant pool size becomes highly complex. In this case, we provide a threshold characterization regarding when removing a feature improves both academic merit and diversity. Finally, using calibrated simulations in both the strategic and non-strategic settings, we demonstrate the presence of practical instances where the decision to eliminate standardized testing improves or worsens all metrics.

研究の動機と目的

• 社会的グループ間でのアクセスの不均等性に起因する特徴（例：テストスコア）の情報的価値とその排除的影響のトレードオフを形式化すること。
• 標準化テストのような特徴を廃止することで、容量制約のある入試意思決定における学力の質と多様性に与える影響を検討すること。
• アクセス格差が存在する状況において、特徴を廃止することで学力の質と多様性の両方が向上する条件を同定すること。
• 特徴の情報価値とグループ固有のアクセスが、応募者プールの構成と選抜結果に与える共同的影響をモデル化すること。
• 特徴を廃止することで公平性と質が向上するかどうかを示す閾値の特徴付けを、キャリブレーション済みのシミュレーションを用いて提示すること。

提案手法

• 応募者が複数の特徴を持つことと、応募行動において戦略的である可能性を想定した理論的統計的差別モデルを構築する。
• 応募者のスキル分布を階層的正規分布モデルで表現し、グループごとの分散と特徴間の相関を扱う。
• 逆ミルズ比関数およびハザード率関数を用いて、テスト有無の異なる政策下での合格者の期待スキル水準を導出する。
• アクセス格差と特徴の情報価値に基づき、グループ $g$ に対してテストを廃止することで学力の質が向上するかどうかを決定する閾値条件 $\hat{\gamma}_g$ を導入する。
• 戦略的・非戦略的状況の両方でキャリブレーション済みのシミュレーションを実施し、多様なシナリオにおける政策効果を評価する。
• Texas Higher Education Opportunity Project (THEOP) の実データを用いて、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準化テストを廃止することで、大学進学の入試において学力の質と多様性の両方が向上する条件は何か？
• RQ2 特定の特徴（例：テスト対策のアクセス）へのアクセスの不均等性とその情報的価値が、入試結果にどのように作用するか？
• RQ3 ある社会的グループに対して特徴を廃止することが利益をもたらすかどうかを決定するアクセス格差の閾値レベル（$\hat{\gamma}_g$）は何か？
• RQ4 特徴の情報価値とアクセス障壁の共同的影響が、応募者プールの構成と最終的な入試意思決定にどのように影響するか？
• RQ5 実用的な状況において、標準化テストを廃止することで、公平性と質の両方の指標において、結果が改善されるか、悪化するかはどのような場合か？

主な発見

• 標準化テストを廃止すると、特に伝統的でない背景の応募者に対して、評価に必要な情報量が減少する可能性があり、結果として学力に基づく選抜が悪化するおそれがある。
• 特徴を廃止する意思決定は、他の特徴とその応募者プール構成への影響の文脈に依存するため、孤立して行うことはできない。
• グループ $g$ に対して特徴を廃止することで学力の質が向上するかどうかを決定する閾値条件 $\hat{\gamma}_g$ が存在する。この閾値は、そのグループにおける特徴の予測力の分散が高くなるほど上昇する。
• アクセス格差が高く、特徴が高情報性である場合、その特徴を廃止すると、代表されないグループの学力の質が低下する可能性があるが、アクセスが低く特徴がノイズが多い場合には、廃止によって学力の質が向上する可能性がある。
• キャリブレーション済みのシミュレーションにより、グループ固有のアクセス状況と特徴の質に応じて、標準化テストを廃止することで学力の質と多様性の両方が向上する場合も、悪化する場合もある実例が示された。
• 閾値 $\hat{\gamma}_g$ は、アファーマティブアクション政策下では、グループ間の経済的格差とは無関係に、グループ固有の特性とターゲットの多様性水準にのみ依存する。