[论文解读] What is Fair? Exploring Pareto-Efficiency for Fairness Constrained Classifiers

Ananth Balashankar, Alyssa Lees+2 more|arXiv (Cornell University)|Oct 30, 2019

Psychology of Moral and Emotional Judgment被引用 4

一句话总结

本文提出了帕累托高效公平性（PEF），一种通过在帕累托前沿上选择模型来优化敏感属性子组准确率的公平性约束，避免在代表性不足群体中性能下降。通过使用偏差加权的帕累托损失函数平衡公平性与性能，该方法在UCI数据集上所有子组的准确率均优于严格的公平性约束。

ABSTRACT

The potential for learned models to amplify existing societal biases has been broadly recognized. Fairness-aware classifier constraints, which apply equality metrics of performance across subgroups defined on sensitive attributes such as race and gender, seek to rectify inequity but can yield non-uniform degradation in performance for skewed datasets. In certain domains, imbalanced degradation of performance can yield another form of unintentional bias. In the spirit of constructing fairness-aware algorithms as societal imperative, we explore an alternative: Pareto-Efficient Fairness (PEF). Theoretically, we prove that PEF identifies the operating point on the Pareto curve of subgroup performances closest to the fairness hyperplane, maximizing multiple subgroup accuracy. Empirically we demonstrate that PEF outperforms by achieving Pareto levels in accuracy for all subgroups compared to strict fairness constraints in several UCI datasets.

研究动机与目标

• 为解决在机器学习中强制实施严格公平性约束时代表性不足子组性能下降的问题。
• 提出一种公平意识学习框架，在不牺牲公平性的前提下最大化所有子组的准确率。
• 证明帕累托效率相较于公平约束分类中的硬性相等约束，提供了更均衡且有效的替代方案。
• 通过实证表明，PEF在数据分布倾斜的真实世界数据集上，实现了比现有公平性算法更高的全局和子组准确率。

提出的方法

• 该方法引入了一种帕累托损失函数，通过最小化与帕累托最优性能点的距离，平衡整体准确率与子组公平性。
• 利用迁移学习迭代搜索帕累托最优模型，在保持公平性的同时提升子组性能。
• 单一偏差损失权重（λ）控制全局准确率与帕累托效率之间的权衡，各子组采用相等权重以避免多数群体主导。
• 通过应用相等的子组权重，避免了流行度加权公平性带来的弊端，确保少数群体不被边缘化。
• 该框架应用于具有多个敏感属性的多分类任务，使用不同容量的前馈神经网络。
• 在预处理阶段计算子组伪最优准确率，以指导帕累托前沿搜索，提升对数据偏斜的鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种公平性约束，以避免在提升所有群体准确率的同时导致代表性不足子组的性能下降？
• RQ2 帕累托高效公平性与严格相等约束相比，在子组准确率和全局性能方面表现如何？
• RQ3 子组损失的相等加权是否能防止公平性优化模型中的“多数人暴政”现象？
• RQ4 模型容量在多大程度上影响帕累托损失函数带来的收益？
• RQ5 PEF能否在真实世界数据集上超越现有公平性算法（如平等机会和对抗性多任务学习）？

主要发现

• 在UCI Adult、German Credit和Heart Attack数据集上，PEF在所有子组的准确率均高于严格公平性约束。
• 在UCI Adult数据集上，PEF相比基线方法将子组准确率最高提升了12.5%，且在更大模型中提升幅度更大。
• 帕累托损失函数相比平等机会损失减少了20%-30%的帕累托损失，尤其在模型容量增加时效果更显著。
• 损失函数中对子组采用相等权重，防止了多数群体主导公平性优化，避免了误导性的公平性度量。
• 该方法在全局和子组准确率上均优于对抗性多任务学习和硬约束公平性基线。
• 在合成数据中，PEF选中帕累托前沿上的一点（0.71, 0.63），相比严格相等点（0.6, 0.6）提升了两个子组的准确率。