[论文解读] Fair Regression: Quantitative Definitions and Reduction-based Algorithms

Alekh Agarwal, Miroslav Dudı́k+1 more|arXiv (Cornell University)|May 30, 2019

Ethics and Social Impacts of AI参考文献 31被引用 63

一句话总结

本文在统计平等与有界组损失下定义了公平回归，并给出将公平回归转化为标准学习问题且具备理论保证的基于化简的算法。

ABSTRACT

In this paper, we study the prediction of a real-valued target, such as a risk score or recidivism rate, while guaranteeing a quantitative notion of fairness with respect to a protected attribute such as gender or race. We call this class of problems \emph{fair regression}. We propose general schemes for fair regression under two notions of fairness: (1) statistical parity, which asks that the prediction be statistically independent of the protected attribute, and (2) bounded group loss, which asks that the prediction error restricted to any protected group remain below some pre-determined level. While we only study these two notions of fairness, our schemes are applicable to arbitrary Lipschitz-continuous losses, and so they encompass least-squares regression, logistic regression, quantile regression, and many other tasks. Our schemes only require access to standard risk minimization algorithms (such as standard classification or least-squares regression) while providing theoretical guarantees on the optimality and fairness of the obtained solutions. In addition to analyzing theoretical properties of our schemes, we empirically demonstrate their ability to uncover fairness--accuracy frontiers on several standard datasets.

研究动机与目标

• 在回归设置中通过定量的公平性概念来驱动对实值目标的预测。
• 为回归任务定义两种公平性概念——统计平等 (statistical parity) 和有界组损失 (bounded group loss)。
• 开发基于化简的算法，利用标准风险最小化、分类或回归 oracle。
• 给出对 Lipschitz 损失和有界模型类的最优性、公平性与泛化性的理论保证。
• 在标准数据集上的回归任务中实证展示公平性–准确率权衡。

提出的方法

• 具备 Lipschitz 损失及受保护属性的公平回归的一般框架。
• 两种算法化简：(i) 将统计平等化简为成本敏感分类；(ii) 将有界组损失化简为带有逐组约束的加权损失最小化。
• 对预测空间进行离散化，以在保持精度保证的同时构造有限约束集。
• 使用随机化预测器以改善公平性-准确性权衡。
• 化简为标准学习 oracle：在加权损失、加权最小二乘或成本敏感分类下进行风险最小化。
• 理论结果对计算效率、泛化误差和公平性违规进行界定。

实验结果

研究问题

• RQ1 在回归中是否可以在使用标准学习线性管道的情况下强制实现统计平等，并保持接近的预测准确性？
• RQ2 通过化简为加权或带约束的学习问题，怎样在回归中实现有界组损失？
• RQ3 通过这些化简求解公平回归时，理论保证（成本、泛化、公平性违规）有哪些？
• RQ4 离散化和随机预测器是否能在任意 Lipschitz 损失和模型类上实现可处理的公平回归？
• RQ5 这些公平回归方法在标准数据集上的表现如何，与公平性–准确率前沿进行比较？

主要发现

• 在使用标准风险最小化 oracle 的同时，可以将公平回归表述为带有 SP 或 BGL 约束的问题。
• 统计平等通过对预测空间离散化并简化为具有有限约束的成本敏感分类来处理。
• 有界组损失通过化简为带有逐组损失界限的加权损失最小化问题来处理。
• 该方法在 Lipschitz 损失和有界复杂度类下，对损失、公平性违规和泛化性提供理论保证。
• 实证结果显示在最小二乘和逻辑回归以及线性与树集成学习者上的公平性–准确率前沿。
• 该框架支持随机预测器以在不牺牲保证的情况下改善权衡。