[论文解读] Fairness Measures for Regression via Probabilistic Classification

Daniel Steinberg, Alistair Reid+1 more|arXiv (Cornell University)|Jan 16, 2020

Ethics and Social Impacts of AI参考文献 21被引用 7

一句话总结

本文提出了适用于回归任务的可计算、与模型无关的公平性准则近似方法——独立性、分离性和充分性，通过概率分类法估计受保护属性的条件概率。实验表明，互信息和密度比估计器能提供稳健且可解释的公平性评估，揭示了真实世界回归模型中公平性与准确率之间的权衡。

ABSTRACT

Algorithmic fairness involves expressing notions such as equity, or reasonable treatment, as quantifiable measures that a machine learning algorithm can optimise. Most work in the literature to date has focused on classification problems where the prediction is categorical, such as accepting or rejecting a loan application. This is in part because classification fairness measures are easily computed by comparing the rates of outcomes, leading to behaviours such as ensuring that the same fraction of eligible men are selected as eligible women. But such measures are computationally difficult to generalise to the continuous regression setting for problems such as pricing, or allocating payments. The difficulty arises from estimating conditional densities (such as the probability density that a system will over-charge by a certain amount). For the regression setting we introduce tractable approximations of the independence, separation and sufficiency criteria by observing that they factorise as ratios of different conditional probabilities of the protected attributes. We introduce and train machine learning classifiers, distinct from the predictor, as a mechanism to estimate these probabilities from the data. This naturally leads to model agnostic, tractable approximations of the criteria, which we explore experimentally.

研究动机与目标

• 为解决回归问题中缺乏可计算的公平性度量的问题，传统基于分类的公平性准则因连续结果而无法适用。
• 利用条件概率估计，开发三种核心公平性准则——独立性、分离性和充分性——的通用、与模型无关的近似方法。
• 在无需访问模型内部结构或推理阶段敏感属性的情况下，实现对回归模型公平性的审计与分析。
• 利用这些新近似方法评估现有公平回归算法的性能，揭示公平性与预测准确率之间的权衡。
• 提供一种基于可解释、归一化公平性度量的后处理与监管审计框架，适用于回归系统。

提出的方法

• 将公平性准则分解为涉及受保护属性的条件概率之比，从而通过分类方法进行估计。
• 训练独立的概率分类器以估计 P(a|y) 和 P(a|ŷ)，其中 a 为受保护属性，y 为真实结果，ŷ 为预测结果。
• 使用密度比估计器通过估计条件密度比 P(a|ŷ) / P(a|y) 来近似独立性准则。
• 通过经验积分推导互信息近似，并将其归一化至 [0,1] 区间，其中 0 表示完全公平。
• 将该方法应用于合成数据和一个真实世界的刑事司法数据集，以评估公平性权衡。
• 该方法与模型无关，仅需访问预测结果、真实结果和敏感属性，适用于黑箱系统。

实验结果

研究问题

• RQ1 独立性、分离性和充分性等公平性准则能否在结果为连续值的回归场景中有意义地扩展？
• RQ2 如何以与模型无关且计算上可行的方式，对回归模型中的这些公平性准则进行近似？
• RQ3 现有公平回归算法在多大程度上满足这三项公平性准则？其在准确率与公平性之间存在何种权衡？
• RQ4 在公平性审计中，互信息估计器与密度比估计器在稳健性与可解释性方面如何比较？
• RQ5 这些近似方法能否检测到细微的公平性违规，例如在受保护群体间误差分布不均，即使各群体均值保持平衡？

主要发现

• 由于互信息近似被归一化至 [0,1] 区间，其数值鲁棒性优于直接的密度比估计，且更易于解释。
• 在公平性正则化权重较低时，观察到预测与种族之间存在强烈依赖，表明独立性和分离性表现差，即使充分性几乎满足。
• 提高公平性正则化权重可改善分离性，表现为互信息和密度比估计值下降，但同时也因模型表达能力降低而增加了 RMSE。
• 密度比估计器 r_sep 在比互信息度量 I_sep 更低的正则化权重下即显示出满足分离性的迹象，表明其可能对近似偏差更敏感。
• 对 Y×S 图的视觉检查显示，较高的正则化权重导致预测被拉向均值，从而减少了在真实值条件下各群体间误差分布的差异。
• 该方法成功检测到：即使某些模型在惩罚分离性时，仍可能因各群体误差分布对称而看似公平，凸显了基于均值的公平性度量的局限性。