[论文解读] Equal Opportunity and Affirmative Action via Counterfactual Predictions

Zhaoran Wang, Dhanya Sridhar+1 more|arXiv (Cornell University)|May 26, 2019

Game Theory and Voting Systems参考文献 3被引用 10

一句话总结

本文提出基于因果推断的算法，通过反事实预测调整机器学习预测器，以确保平等机会（EO）和肯定行动（AA）的公平性。通过将决策建模为因果图中的干预，该方法以最小程度修正预测，使其满足EO和AA标准，同时保持高预测准确性，在真实世界数据集上的公平性-准确性权衡中优于现有方法。

ABSTRACT

Machine learning (ML) can automate decision-making by learning to predict decisions from historical data. However, these predictors may inherit discriminatory policies from past decisions and reproduce unfair decisions. In this paper, we propose two algorithms that adjust fitted ML predictors to make them fair. We focus on two legal notions of fairness: (a) providing equal opportunity (EO) to individuals regardless of sensitive attributes and (b) repairing historical disadvantages through affirmative action (AA). More technically, we produce fair EO and AA predictors by positing a causal model and considering counterfactual decisions. We prove that the resulting predictors are theoretically optimal in predictive performance while satisfying fairness. We evaluate the algorithms, and the trade-offs between accuracy and fairness, on datasets about admissions, income, credit and recidivism.

研究动机与目标

• 解决机器学习预测器继承历史决策偏见的问题。
• 利用反事实推理形式化两种法律公平性概念——平等机会（EO）和肯定行动（AA）。
• 开发算法，对训练好的机器学习模型进行调整，使其在EO和AA方面公平，同时对预测性能影响最小。
• 通过基于因果模型的方法，确保公平性对数据分布变化具有鲁棒性。
• 在入学、收入、信贷和再犯等数据集上，实证评估公平性与准确性的权衡。

提出的方法

• 假设一个结构因果模型，其中敏感属性（如种族、性别）影响非敏感属性（如考试成绩）和决策。
• 将EO公平性定义为：对于具有相同非敏感属性但不同敏感属性的个体，其反事实预测概率相等。
• 将AA公平性定义为：通过干预敏感属性，对历史劣势进行补偿的反事实预测。
• 通过在反事实结果在不同敏感群体间相等的约束下最小化预测误差，推导出EO公平预测器。
• 通过在EO公平预测器的基础上，利用反事实干预对历史上处于劣势的群体进行调整，推导出AA公平预测器。
• 使用对称KL散度衡量代表性均等性，并验证AA公平预测器在群体间实现接近零的散度。

实验结果

研究问题

• RQ1 反事实推理能否用于定义和实施机器学习预测器中的平等机会公平性？
• RQ2 能否通过反事实干预的形式化和实现肯定行动公平性，以纠正历史劣势？
• RQ3 所提出的EO和AA公平算法在准确性和公平性方面，与FairLearning和FTU等现有方法相比表现如何？
• RQ4 公平预测器在满足公平性标准的同时，能在多大程度上保持预测性能？
• RQ5 与统计公平性定义相比，因果框架是否能提升对数据分布变化的鲁棒性？

主要发现

• EO公平预测器实现了零EO度量（越低越好），在EO公平性方面优于FTU和FairLearning，且比其他公平模型具有更高的预测准确性。
• AA公平预测器实现了零AA度量，且对称KL散度接近零，表明实现了代表性均等，其在公平性和准确性方面均优于FTU和FairLearning。
• 在德国信贷数据集上，AA公平预测器的预测得分为64.3，高于FairLearning（63.5）和FTU（63.4），同时保持了接近零的AA和KL度量。
• 在Adult收入数据集上，AA公平预测器的对称KL散度为7.8，显著低于FTU（15.6）和传统机器学习方法（18.6），表明代表性均等性更优。
• 反事实预测显示，AA公平预测器对白人和非白人群体产生的决策分布几乎完全相同，实现了代表性均等。
• EO公平预测器在保持高预测性能（德国信贷数据集上为64.5）的同时实现了完美的EO公平性，在准确性方面优于其他公平模型。