[论文解读] Should College Dropout Prediction Models Include Protected Attributes?

Renzhe Yu, Hansol Lee+1 more|arXiv (Cornell University)|Mar 28, 2021

Online Learning and Analytics参考文献 35被引用 7

一句话总结

本研究评估在大学辍学预测模型中纳入受保护属性（性别、代表性不足的种族/族裔（URM）、首代大学生身份及经济需求）是否能在不损害性能的前提下提升公平性。基于美国一所研究型大学93,457名学生的数据，研究发现纳入这些属性可略微提升公平性，且对整体准确率无负面影响，支持其纳入以应对结构性不平等。

ABSTRACT

Early identification of college dropouts can provide tremendous value for improving student success and institutional effectiveness, and predictive analytics are increasingly used for this purpose. However, ethical concerns have emerged about whether including protected attributes in the prediction models discriminates against underrepresented student groups and exacerbates existing inequities. We examine this issue in the context of a large U.S. research university with both residential and fully online degree-seeking students. Based on comprehensive institutional records for this entire student population across multiple years, we build machine learning models to predict student dropout after one academic year of study, and compare the overall performance and fairness of model predictions with or without four protected attributes (gender, URM, first-generation student, and high financial need). We find that including protected attributes does not impact the overall prediction performance and it only marginally improves algorithmic fairness of predictions. While these findings suggest that including protected attributes is preferred, our analysis also offers guidance on how to evaluate the impact in a local context, where institutional stakeholders seek to leverage predictive analytics to support student success.

研究动机与目标

• 探究在大学辍学预测模型中纳入受保护属性是否能在不降低整体性能的前提下提升算法公平性。
• 评估排除反映学生留存历史不平等的社会人口学变量所带来的伦理影响。
• 为机构提供一种实用框架，以评估在本地预测建模情境中受保护属性的影响。
• 开发并展示超越单一属性分析的多属性公平性评估方法。

提出的方法

• 基于机构数据构建机器学习模型，预测93,457名攻读学位的学生在一年内是否辍学，涵盖住校和完全在线项目。
• 比较两种模型类型：排除受保护属性的“BLIND”模型与包含这些属性的“AWARE”模型，使用相同的机构特征集。
• 使用标准指标（准确率、召回率）评估模型性能，并通过受保护属性群体间的预测差异评估公平性。
• 采用可视化和统计比较方法，在多个聚合层级评估公平性，包括个体排名差异和群体层面的性能指标。
• 采用多维度公平性评估方法，同时分析多个受保护属性和性能指标。
• 应用公平性诊断工具，检测受保护属性对预测结果的补偿性或隔离性影响。

实验结果

研究问题

• RQ1 在辍学预测模型中纳入受保护属性是否会降低整体预测性能？
• RQ2 纳入受保护属性在多大程度上能提升学生辍学预测中的算法公平性？
• RQ3 当受保护属性被纳入或排除时，不同受保护群体的预测结果有何差异？
• RQ4 排除受保护属性对公平性有何影响，特别是在高等教育中存在结构性不平等的情况下？
• RQ5 当涉及多个受保护属性时，机构如何有效评估预测模型的公平性？

主要发现

• 纳入受保护属性对整体预测性能无显著负面影响，AWARE模型在住校学生中达到84%的准确率，在在线学生中达到76%的准确率。
• 纳入受保护属性略微提升了公平性，尤其体现在略微降低历史上风险较高的群体（如URM和首代大学生）的预测辍学风险方面。
• 受保护属性的补偿效应在统计上不显著，可能是因为该研究机构的历史辍学率差距并不大。
• 研究未发现隔离效应的证据；相反，受保护属性表现出微弱但有利的补偿效应，表明其有助于纠正结构性不平等。
• 排除受保护属性可能反映一种‘颜色盲’意识形态，会加剧现有不平等，从而强化了在公平意识建模中纳入这些属性的论据。
• 所提出的多属性公平性评估框架能够实现对公平性问题的敏感诊断，且可集成至实时公平性仪表板中，供机构实际使用。