[论文解读] Blackbox Post-Processing for Multiclass Fairness

Preston Putzel, Scott Lee|arXiv (Cornell University)|Jan 12, 2022

Ethics and Social Impacts of AI被引用 11

一句话总结

该论文将Hardt等人（2016年）提出的后处理公平性框架扩展至多分类设定，通过在条件调整概率上构建线性规划来实现公平性，同时最小化准确率损失。实验表明，在足够大的数据集下，该方法可实现高公平性，且准确率仅出现轻微下降；然而在小样本数据集或强类别不平衡情况下，性能会下降。

ABSTRACT

Applying standard machine learning approaches for classification can produce unequal results across different demographic groups. When then used in real-world settings, these inequities can have negative societal impacts. This has motivated the development of various approaches to fair classification with machine learning models in recent years. In this paper, we consider the problem of modifying the predictions of a blackbox machine learning classifier in order to achieve fairness in a multiclass setting. To accomplish this, we extend the 'post-processing' approach in Hardt et al. 2016, which focuses on fairness for binary classification, to the setting of fair multiclass classification. We explore when our approach produces both fair and accurate predictions through systematic synthetic experiments and also evaluate discrimination-fairness tradeoffs on several publicly available real-world application datasets. We find that overall, our approach produces minor drops in accuracy and enforces fairness when the number of individuals in the dataset is high relative to the number of classes and protected groups.

研究动机与目标

• 解决多分类机器学习预测中的公平性问题，其中有偏模型可能对受保护的人口群体造成不利影响。
• 开发一种后处理方法，修改预训练黑箱分类器的预测结果，而无需更改其内部参数。
• 在保持预测准确率的同时，确保在多个类别和受保护属性上的公平性。
• 研究后处理在何种条件下有效，特别是关于数据集大小和类别不平衡的影响。
• 在合成数据集和真实世界数据集上评估该方法，以分析公平性与准确率之间的权衡关系以及泛化鲁棒性。

提出的方法

• 将调整后的预测 $Y^{\text{adj}}$ 定义为黑箱分类器输出 $\hat{Y}$ 和受保护属性 $A$ 的随机函数，使用条件概率 $\text{Pr}(Y^\text{adj} = y^\text{adj} \mid \hat{Y} = \hat{y}, A = a)$。
• 针对每个受保护属性取值构建混淆矩阵 $\mathbf{P}^a = \text{Pr}(Y^\text{adj} \mid \hat{Y}, A = a)$，并在此基础上建立线性规划以施加公平性约束。
• 采用线性目标函数以最小化期望损失，支持未加权的零一损失或基于 $1/\text{Pr}(Y = y, A = a)$ 的加权损失，以更严厉惩罚对少数群体的错误预测。
• 从数据中经验估计原始分类器的混淆矩阵 $\mathbf{Z}^a = \text{Pr}(\hat{Y} \mid Y, A = a)$，以保持 $\mathbf{P}^a$ 的线性关系。
• 通过等化奇偶性或公平对待等约束条件实现公平性，确保在真实标签给定的条件下，预测结果与受保护属性条件独立。
• 求解所得线性规划，获得满足公平性标准且准确率退化最小的调整后预测结果。

实验结果

研究问题

• RQ1 在何种数据条件下，多分类后处理方法能够产生公平且准确的预测？
• RQ2 当个体数量相对于类别数和受保护群体数量较少时，后处理方法的性能会如何退化？
• RQ3 有限抽样变异性在多大程度上影响了对样本外数据的公平性保障？
• RQ4 原始黑箱模型中的类别不平衡和预测偏差在多大程度上影响了后处理的有效性？
• RQ5 在真实世界的多分类应用中，公平性与准确率之间的权衡关系如何？

主要发现

• 在大型数据集（如bar通过率数据集，$N = 22,406$）上，该方法将公平性差异降低了95%，并在严格公平性要求下仅造成7.5个百分点的Brier评分损失。
• 在较小数据集（如肥胖数据集，$N = 1,490$，$|C| = 5$）上，交叉验证下调整后的TDR下降了46%，表明由于有限抽样导致性能显著退化。
• 在药物使用数据集中，样本外的公平性差异在后处理后翻倍，表明存在泛化过程中偏见加剧的风险。
• 该方法在所有数据集的样本内数据中均实现了近乎零的差异，这由线性规划强制实现，但样本外的差异并未完全消除。
• 在强类别不平衡和少数群体中预测偏差较高的情况下，性能退化最为严重，此时调整后的预测器有时仅接近随机猜测水平。
• 当黑箱模型本身已具备中等公平性且数据集规模较大时，该方法依然有效且高效，准确率损失极小，且公平性保障能力强。