[论文解读] Inherent Trade-Offs in the Fair Determination of Risk Scores

Jon Kleinberg, Sendhil Mullainathan+1 more|arXiv (Cornell University)|Sep 19, 2016

Bayesian Modeling and Causal Inference被引用 422

一句话总结

该论文证明三个对概率风险评分的自然公平性条件不能同时满足，除非在特殊情况下，揭示在公平风险评估中的固有权衡。

ABSTRACT

Recent discussion in the public sphere about algorithmic classification has involved tension between competing notions of what it means for a probabilistic classification to be fair to different groups. We formalize three fairness conditions that lie at the heart of these debates, and we prove that except in highly constrained special cases, there is no method that can satisfy these three conditions simultaneously. Moreover, even satisfying all three conditions approximately requires that the data lie in an approximate version of one of the constrained special cases identified by our theorem. These results suggest some of the ways in which key notions of fairness are incompatible with each other, and hence provide a framework for thinking about the trade-offs between them.

研究动机与目标

• 形式化概率分类的三项广泛讨论的公平性条件。
• 表明这些条件在一般情况下不能同时满足。
• 描述三者能同时成立的精确情形。
• 提供一个框架，用于推理风险评分的公平性定义之间的权衡。

提出的方法

• 定义一个具有特征向量和组特定分布的两组模型。
• 通过分数的箱(bin)引入风险分配，以及从特征到箱的映射。
• 将组内校准以及正/负类的平衡形式化为公平性条件。
• 证明一个刻画定理，显示在何种情况下三者可以共同成立。
• 扩展到公平性的近似版本并讨论含义。

实验结果

研究问题

• RQ1 在组内校准、正类平衡与负类平衡能否同时满足？
• RQ2 在何种数据生成情景下，这些公平性条件与完美预测或相等基线率相一致？
• RQ3 公平性条件的近似版本如何约束可实现的风险评分构造？
• RQ4 这些权衡对实际设计公平风险评分系统有何启示？

主要发现

• 在一般情况下，除非数据表现出完美预测或相等的基线率，否则三者不兼容。
• 近似满足条件会使风险评分接近这两种受限的特例之一。
• 结果与用于计算风险评分的具体方法（算法或人为）无关。
• 一个连续函数控制近似水平与接近特殊情形之间的关系。
• 该工作提供了一个理论框架，用于理解常见公平性概念之间的权衡。