[论文解读] Learning Fair Scoring Functions: Fairness Definitions, Algorithms and Generalization Bounds for Bipartite Ranking.

Robin Vogel, Aurélien Bellet+1 more|arXiv (Cornell University)|Feb 19, 2020

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文提出了一种灵活的双部排序中的群体公平性框架，通过基于ROC曲线的功能性本质制定公平性约束，引入公平性条件的一般类别，并为这些约束下的评分函数建立泛化界。该文提出了实用的学习算法，并通过数值实验展示了其有效性，推动了信用贷款和再犯预测等风险评分应用中的公平性。

ABSTRACT

Many applications of artificial intelligence, ranging from credit lending to the design of medical diagnosis support tools through recidivism prediction, involve scoring individuals using a learned function of their attributes. These predictive risk scores are used to rank a set of people, and/or take individual decisions about them based on whether the score exceeds a certain threshold that may depend on the context in which the decision is taken. The level of delegation granted to such systems will heavily depend on how questions of fairness can be answered. While this concern has received a lot of attention in the classification setup, the design of relevant fairness constraints for the problem of learning scoring functions has not been much investigated. In this paper, we propose a flexible approach to group fairness for the scoring problem with binary labeled data, a standard learning task referred to as bipartite ranking. We argue that the functional nature of the ROC curve, the gold standard measuring ranking performance in this context, leads to several possible ways of formulating fairness constraints. We introduce general classes of fairness conditions in bipartite ranking and establish generalization bounds for scoring rules learned under such constraints. Beyond the theoretical formulation and results, we design practical learning algorithms and illustrate our approach with numerical experiments.

研究动机与目标

• 为二值标签数据学习评分函数时缺乏系统性公平性约束的问题提供解决方案。
• 通过ROC曲线的功能结构定义双部排序中的公平性，实现多种公平性表述。
• 为在公平性约束下训练的评分规则建立泛化界。
• 设计在保持排序性能的同时强制执行公平性的实用学习算法。
• 通过数值实验对所提框架进行实证验证，展示公平性与效用之间的权衡。

提出的方法

• 通过分析ROC曲线的功能行为，将其视为阈值上的连续曲线，制定公平性约束。
• 引入公平性条件的一般类别——如平等机会和相等真阳性率——并将其适配至评分函数设置。
• 推导出量化公平感知评分规则统计可靠性的泛化界。
• 提出一种可微分优化框架，用于在公平性约束下训练评分函数，使用代理损失函数。
• 采用约束学习方法，通过正则化或约束强制，平衡排序性能（AUC）与公平性度量。
• 使用合成数据集和真实世界数据集验证该方法，测量公平性与排序性能之间的权衡。

实验结果

研究问题

• RQ1 鉴于ROC曲线的功能特性，在双部排序的评分函数背景下，公平性应如何有意义地定义？
• RQ2 哪些一般类别的公平性约束与评分函数结构和排序评估兼容？
• RQ3 公平性约束如何影响学习到的评分函数的泛化性能？
• RQ4 哪些实用的优化算法能够有效训练公平评分函数，同时保持排序效用？
• RQ5 在真实世界应用中，公平性与排序性能之间存在何种权衡？

主要发现

• ROC曲线的功能形式使得在双部排序中可实现多种可解释的公平性定义，例如不同群体间相等的假阳性率或相等的真阳性率。
• 为公平感知评分函数建立了泛化界，确保在分布变化下仍具有统计可靠性。
• 所提出的算法在满足公平性约束的同时实现了具有竞争力的AUC得分，证明了其实际可行性。
• 数值实验表明，公平性约束可以有效实施，而不会显著降低排序性能。
• 该框架支持灵活的公平性定义，使实践者能够根据具体应用场景定制约束。