[论文解读] Augmenting Holistic Review in University Admission using Natural Language Processing for Essays and Recommendation Letters

Jinsook Lee, Bradon Thymes+3 more|arXiv (Cornell University)|Jun 30, 2023

Online Learning and Analytics被引用 4

一句话总结

本研究评估了在机器学习模型预测大学录取时，排除受保护属性（如种族和性别）的情况下，通过作文和推荐信的自然语言处理（NLP）是否能够弥补这一缺失。基于14,915名申请者的数据，研究发现，尽管文本特征能略微提升模型性能并有助于恢复性别多样性，但当人口统计学数据被剔除时，其无法恢复代表性不足少数群体（URM）比例的显著下降，表明NLP无法完全替代受保护属性以维持多样性。

ABSTRACT

University admission at many highly selective institutions uses a holistic review process, where all aspects of the application, including protected attributes (e.g., race, gender), grades, essays, and recommendation letters are considered, to compose an excellent and diverse class. In this study, we empirically evaluate how influential protected attributes are for predicting admission decisions using a machine learning (ML) model, and in how far textual information (e.g., personal essay, teacher recommendation) may substitute for the loss of protected attributes in the model. Using data from 14,915 applicants to an undergraduate admission office at a selective U.S. institution in the 2022-2023 cycle, we find that the exclusion of protected attributes from the ML model leads to substantially reduced admission-prediction performance. The inclusion of textual information via both a TF-IDF representation and a Latent Dirichlet allocation (LDA) model partially restores model performance, but does not appear to provide a full substitute for admitting a similarly diverse class. In particular, while the text helps with gender diversity, the proportion of URM applicants is severely impacted by the exclusion of protected attributes, and the inclusion of new attributes generated from the textual information does not recover this performance loss.

研究动机与目标

• 评估在预测大学录取的机器学习模型中，排除受保护属性（如种族、性别）的影响。
• 探究来自作文和推荐信的文本特征在维持预测准确性和人口多样性方面，能否弥补人口统计数据的缺失。
• 评估NLP技术在缺乏受保护属性的情况下，对支持整体评估流程的贡献程度。
• 理解NLP在缺乏人口统计特征时，恢复多样性的局限性。
• 为在可能的法律限制下使用受保护属性的大学录取算法公平性政策与实践提供建议。

提出的方法

• 本研究使用来自一所美国顶尖大学2022–2023年录取周期的14,915名申请者记录训练机器学习模型。
• 特征集包括人口统计属性（性别、种族/族裔）、学术表现（成绩、荣誉）、课外活动，以及文本数据（作文、写作补充材料、推荐信）。
• 文本特征通过TF-IDF和潜在狄利克雷分布（LDA）进行处理，以提取语义表征。
• 模型性能通过AUC（曲线下面积）评估，用于录取预测，多样性分析聚焦于预测申请人前十分位。
• 本研究比较了包含与不包含受保护属性的模型，以及不同组合的文本特征，以隔离其对性能和多样性的影响。
• 使用p值评估性能差异的统计显著性，显著性阈值为p < 0.05。

实验结果

研究问题

• RQ1 在预测大学录取时，排除受保护属性（如种族、性别）在多大程度上会降低机器学习模型的性能？
• RQ2 来自个人作文和推荐信的文本特征在多大程度上能弥补受保护属性的缺失，以维持模型性能和人口多样性？
• RQ3 当人口统计特征被排除时，文本特征的引入在多大程度上影响了代表性不足少数群体（URM）在高排名申请人池中的代表性？
• RQ4 当性别未作为直接特征使用时，包含文本数据是否能提升模型预测性别多样性的能力，尤其是在此情况下？
• RQ5 TF-IDF和LDA等NLP技术在多大程度上能捕捉到可替代受保护属性的人口统计信号，用于录取预测？

主要发现

• 从模型中排除受保护属性导致录取预测性能显著下降，表明其在准确决策中具有关键作用。
• 通过TF-IDF和LDA引入文本特征可部分恢复模型性能，但提升微乎其微——AUC从0.884提升至0.892，且差异无统计学意义（p = 0.303）。
• 尽管文本特征在排除人口统计数据时有助于恢复性别多样性，但无法恢复代表性不足少数群体（URM）申请者的比例，其比例显著下降。
• 在排除人口统计特征的模型中，URM申请者的比例保持相对稳定，表明仅靠文本无法实现有效恢复。
• 由于推荐信中明确使用了性别代词，因此在性别未作为特征时，推荐信在恢复性别多样性方面尤为有效。
• 本研究结论认为，基于NLP的文本分析无法在整体录取过程中完全替代受保护属性以维持人口多样性，尤其是对URM群体而言。