[论文解读] Achieving Fairness through Adversarial Learning: an Application to Recidivism Prediction

Christina Wadsworth, Francesca Vera+1 more|arXiv (Cornell University)|Jun 30, 2018

Ethics and Social Impacts of AI参考文献 11被引用 117

一句话总结

本论文训练一个对抗式引导的神经网络以预测再犯风险，同时降低人口统计偏差，在 Broward 数据集上实现更接近公平性定义的 parity/equality of odds，并且准确性高于 COMPAS。

ABSTRACT

Recidivism prediction scores are used across the USA to determine sentencing and supervision for hundreds of thousands of inmates. One such generator of recidivism prediction scores is Northpointe's Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) score, used in states like California and Florida, which past research has shown to be biased against black inmates according to certain measures of fairness. To counteract this racial bias, we present an adversarially-trained neural network that predicts recidivism and is trained to remove racial bias. When comparing the results of our model to COMPAS, we gain predictive accuracy and get closer to achieving two out of three measures of fairness: parity and equality of odds. Our model can be generalized to any prediction and demographic. This piece of research contributes an example of scientific replication and simplification in a high-stakes real-world application like recidivism prediction.

研究动机与目标

• 在高风险的再犯预测中倡导公平性，并解决现有评分如 COMPAS 的偏差。
• 提出一种对抗训练框架，去除再犯预测中的种族信息。
• 在公开的 Broward County 数据上评估与 COMPAS 及基线模型相比的公平性与准确性。
• 证明该方法对其他预测和受保护属性的泛化能力。

提出的方法

• 使用一个预测器 N 输出再犯概率 hat{Y}。
• 附加一个对抗者 A，尝试从预测器的 logit 推断人口统计信息 D（以及用于机会均等性的 Y）。
• 用损失 Ly（预测器）和 Ld（对抗者）一起训练，并优化 L = Ly - alpha * Ld，以鼓励 parity 或 equality of odds。
• 使用 AUC 和公平性差距进行评估：High Risk Gap、FP Gap、FN Gap，以及校准图。
• 调优超参数（层数、alpha、学习率）以最大化 Ld，然后最小化 Ly。

实验结果

研究问题

• RQ1 对抗式设置是否能在不牺牲准确性的前提下移除再犯预测中的种族信息？
• RQ2 在 Broward COMPAS 数据集上，模型在人口统计学平等与机会均等方面能接近到多近？
• RQ3 在实现公平性指标的同时，对抗模型的准确性是否优于 COMPAS？
• RQ4 该方法是否可推广到其他预测与受保护属性？

主要发现

• 对抗模型显著降低偏差差距：High Risk Gap 0.02，FN Gap 0.02，FP Gap 0.01。
• 对抗模型取得更高的准确性（AUC 0.70）比 COMPAS（AUC 0.66）并接近公平性目标。
• 与基线再犯预测模型相比，对抗模型在 parity/equality of odds 的改进更大，同时保持较强的准确性。
• 与若干公平性基线（Bechavod、Zafar、Hardt）相比，所选对抗模型在 FP/FN 差距方面具有竞争力，AUC 优于或相当。
• 案例研究展示了现实世界的含义，显示在具体囚犯故事中 COMPAS 可能与对抗性预测偏离。