[论文解读] From Parity to Preference-based Notions of Fairness in Classification

Muhammad Bilal Zafar, Isabel Valera+3 more|arXiv (Cornell University)|Jun 30, 2017

Experimental Behavioral Economics Studies被引用 106

一句话总结

本论文引入基于偏好的一致性公平性概念——对二分类的偏好治疗和偏好影响，灵感来自羡慕公正与谈判，使用凸代理以提升相对于基于平等的公平的准确性，并提供开源代码。

ABSTRACT

The adoption of automated, data-driven decision making in an ever expanding range of applications has raised concerns about its potential unfairness towards certain social groups. In this context, a number of recent studies have focused on defining, detecting, and removing unfairness from data-driven decision systems. However, the existing notions of fairness, based on parity (equality) in treatment or outcomes for different social groups, tend to be quite stringent, limiting the overall decision making accuracy. In this paper, we draw inspiration from the fair-division and envy-freeness literature in economics and game theory and propose preference-based notions of fairness -- given the choice between various sets of decision treatments or outcomes, any group of users would collectively prefer its treatment or outcomes, regardless of the (dis)parity as compared to the other groups. Then, we introduce tractable proxies to design margin-based classifiers that satisfy these preference-based notions of fairness. Finally, we experiment with a variety of synthetic and real-world datasets and show that preference-based fairness allows for greater decision accuracy than parity-based fairness.

研究动机与目标

• 激发在分类中放宽基于平等的公平性，以允许群体偏好。
• 基于羡慕公正和谈判概念，形式化两个概念——偏好治疗和偏好影响。
• 开发可行的凸代理（DCCP），在这些概念下训练群组条件分类器。
• 通过实证演示，基于偏好的公平性在真实和合成数据上可以获得比基于平等的公平性更高的准确性。

提出的方法

• 定义质量度量：效用（总体准确率）和对敏感群体的群体收益。
• 将偏好治疗和偏好影响形式化为对群体的羡慕自由与帕累托支配风格的标准。
• 提出凸-凹程序（DCCP）放松，以带有递增/铰链样约束的方式训练群组条件分类器。
• 用凸逻辑回归和SVM 边界进行实例化；推导带有群体收益约束的训练问题。
• 提供该方案的开源实现。
• 讨论对非线性分类器的扩展以及基于附录的泛化。

实验结果

研究问题

• RQ1 在不牺牲公平性属性的前提下，放宽基于平等的公平性为基于偏好的概念是否能提高总体准确性？
• RQ2 如何高效训练满足偏好治疗或偏好影响的群组条件分类器？
• RQ3 现实数据集（COMPAS、Adult、NYPD SQF）相比于基于平等的方法，是否从基于偏好的公平性中受益？

主要发现

• 基于偏好的公平性在合成数据和真实数据集上通常比基于平等的公平性具有更高的准确性。
• 偏好治疗使群组条件分类器在公平性与准确性权衡上比平等更具成本效益。
• 偏好影响在保持更少的准确性损失的同时实现更好的群体收益，且在不同数据集上收益不同。
• 结合偏好治疗和偏好影响可以达到或超过各自概念的好处，尽管有时会因为数据不同而带来更大的准确性成本。