[论文解读] Empirical observation of negligible fairness-accuracy trade-offs in machine learning for public policy

Kit T. Rodolfa, Hemank Lamba+1 more|arXiv (Cornell University)|Dec 5, 2020

Ethics and Social Impacts of AI参考文献 37被引用 83

一句话总结

本文通过实证研究调查了机器学习在公共政策中公平性-准确率之间的权衡，表明采用子群特定得分阈值的后处理不公平性缓解方法可显著提升公平性，特别是在召回率方面，且不会牺牲在前k名选择中的模型精确率。在四个现实政策领域——心理健康、住房安全、教育和众筹——公平性得到提升的同时，准确率损失可忽略不计，这挑战了公平性需要复杂方法或性能折衷的假设。

ABSTRACT

Growing use of machine learning in policy and social impact settings have raised concerns for fairness implications, especially for racial minorities. These concerns have generated considerable interest among machine learning and artificial intelligence researchers, who have developed new methods and established theoretical bounds for improving fairness, focusing on the source data, regularization and model training, or post-hoc adjustments to model scores. However, little work has studied the practical trade-offs between fairness and accuracy in real-world settings to understand how these bounds and methods translate into policy choices and impact on society. Our empirical study fills this gap by investigating the impact of mitigating disparities on accuracy, focusing on the common context of using machine learning to inform benefit allocation in resource-constrained programs across education, mental health, criminal justice, and housing safety. Here we describe applied work in which we find fairness-accuracy trade-offs to be negligible in practice. In each setting studied, explicitly focusing on achieving equity and using our proposed post-hoc disparity mitigation methods, fairness was substantially improved without sacrificing accuracy. This observation was robust across policy contexts studied, scale of resources available for intervention, time, and relative size of the protected groups. These empirical results challenge a commonly held assumption that reducing disparities either requires accepting an appreciable drop in accuracy or the development of novel, complex methods, making reducing disparities in these applications more practical.

研究动机与目标

• 调查机器学习在现实世界公共政策应用中是否存在公平性-准确率之间的权衡。
• 评估后处理不公平性缓解方法在资源受限环境下的公平性与准确率的实际影响。
• 评估是否可以在不显著牺牲前k名干预措施中模型精确率的前提下实现公平性提升。
• 检验公平性-准确率结果在不同政策背景、群体规模和资源水平下的稳健性。

提出的方法

• 采用子群特定得分阈值的后处理不公平性缓解方法，以平衡受保护群体之间的召回率。
• 以召回率差异（机会均等）作为公平性度量标准，以前k名中的精确率为主要准确率指标。
• 使用群体特定的缩放方法调整预测得分，保留组内排序的同时纠正不平衡问题。
• 在每个政策背景下，通过网格搜索对多种估计器（如随机森林、逻辑回归）进行模型训练与超参数调优。
• 通过时间序列验证划分和自助抽样评估性能，以确保结果稳健。
• 根据资源限制（如500名个体、1,000个项目）选择前k名列表，测量精确率与召回率差异。

实验结果

研究问题

• RQ1 在现实世界公共政策应用的机器学习中，是否存在公平性-准确率之间的权衡？
• RQ2 使用子群特定阈值的后处理缓解方法是否能显著提升公平性，而不会降低前k名的精确率？
• RQ3 公平性与准确率的提升在不同政策领域和受保护群体规模下有多稳健？
• RQ4 在训练过程中考虑公平性的模型选择策略，是否优于后处理调整？
• RQ5 简单、可扩展的方法是否能在无需复杂重训练或架构变更的情况下实现公平性提升？

主要发现

• 在囚犯心理健康场景中，召回率差异减少了50%以上，且前500名的精确率仅下降1.2个百分点。
• 在住房安全场景中，即使不公平性偏向高收入社区，前100名的精确率下降也少于0.5%，公平性仍得到改善。
• 在教育众筹场景中，性别和种族子群的公平性得到增强，且前1,000个项目中精确率无明显下降。
• 在学生结果场景中，此前被服务不足的超龄学生群体召回率公平性得到改善，前10,000名的精确率仅下降0.8%。
• 该方法在时间序列验证划分和自助重抽样中均表现稳健，公平性持续提升且准确率损失极小。
• 在训练期间忽略公平性但应用后处理阈值的模型选择策略，其表现几乎与优先考虑公平性的选择策略相当，证实了后处理调整的有效性。