[论文解读] Equality of Opportunity in Supervised Learning

Moritz Hardt, Eric Price+1 more|arXiv (Cornell University)|Oct 7, 2016

Ethics and Social Impacts of AI参考文献 6被引用 1,909

一句话总结

论文为从 X 在带有受保护属性 A 的情况下预测 Y 定义了一种隐蔽公平性准则（equalized odds 和 equal opportunity）并展示如何对任意预测器进行后处理以消除歧视，同时在保持或提高效用的情况下实现公平。

ABSTRACT

We propose a criterion for discrimination against a specified sensitive attribute in supervised learning, where the goal is to predict some target based on available features. Assuming data about the predictor, target, and membership in the protected group are available, we show how to optimally adjust any learned predictor so as to remove discrimination according to our definition. Our framework also improves incentives by shifting the cost of poor classification from disadvantaged groups to the decision maker, who can respond by improving the classification accuracy. In line with other studies, our notion is oblivious: it depends only on the joint statistics of the predictor, the target and the protected attribute, but not on interpretation of individualfeatures. We study the inherent limits of defining and identifying biases based on such oblivious measures, outlining what can and cannot be inferred from different oblivious tests. We illustrate our notion using a case study of FICO credit scores.

研究动机与目标

• 形式化一个关于受保护属性在监督学习中的无歧视的隐式概念。
• 提出一个后处理框架，从任何学习得到的预测器或得分中导出无歧视的预测器。
• 证明可以从 Bayes 最优回归器获得 Bayes 最优的无歧视预测器。
• 分析隐式公平方法的固有局限性以及对歧视的可識别性。

提出的方法

• 用给定目标 Y 的条件独立性来定义 equalized odds 和 equal opportunity。
• 引入仅依赖初始预测器和受保护属性 A 的派生预测器。
• 将问题表述为线性规划（对于二元 Y 和 A），以找到具有最小损失的 equalized odds 预测器。
• 将该方法扩展到实值分数 R，通过因子化阈值和随机阈值化以实现 equalized odds。
• 证明可以从 Bayes 最优回归器导出 Bayes 最优的 equalized odds 预测器，并给出使用条件 Kolmogorov 距离的近似最优性结果。

实验结果

研究问题

• RQ1 如何定义和度量歧视，使之对个体特征不可知并仅依赖于联合统计量（Y、Ŷ、A）？
• RQ2 如何对任意学习到的预测器进行后处理，以在最小损失预测准确性的前提下满足 equalized odds 或 equal opportunity？
• RQ3 在隐式公平约束下，Bayes 最优预测器与偏差鲁棒版本之间的关系是什么？
• RQ4 隐式检验在识别真正潜在歧视结构方面的局限性是什么？

主要发现

• 提出一种易于检查、可解释的避免对受保护属性歧视的概念，并显示其与提升的效用相一致。
• 通过后处理步骤即可从任意二元预测器或得分推导出无歧视的预测器，而无需重新训练原始模型。
• 对于二元的 Y 和 A，派生的 equalized odds 预测器可以通过线性规划获得，其系数由 (Ŷ, A, Y) 的联合分布计算。
• 通过类似的方法也可以达到 equal opportunity 的目标，且约束较弱，阈值可以高效优化（如通过三分查找）。
• 可以从 Bayes 最优回归器导出 Bayes 最优的 equalized odds 预测器，并且给出的近似最优性结果量化回归器偏离 Bayes 最优时的损失。