[论文解读] To the Fairness Frontier and Beyond: Identifying, Quantifying, and Optimizing the Fairness-Accuracy Pareto Frontier

Camille Olivia Little, Michael Weylandt+1 more|arXiv (Cornell University)|May 31, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文引入了 taf 曲线和公平性-曲线下面积（fauc）度量，以经验性地表征并量化任意群体公平性定义与准确率度量之间的公平性-准确率帕累托前沿。此外，提出了 FairStacks，一种基于凸优化的模型堆叠框架，通过组合模型在公平性约束下最大化准确率，从而扩展经验帕累托前沿并提升 fauc，优于基准数据集上的现有方法。

ABSTRACT

Algorithmic fairness has emerged as an important consideration when using machine learning to make high-stakes societal decisions. Yet, improved fairness often comes at the expense of model accuracy. While aspects of the fairness-accuracy tradeoff have been studied, most work reports the fairness and accuracy of various models separately; this makes model comparisons nearly impossible without a model-agnostic metric that reflects the balance of the two desiderata. We seek to identify, quantify, and optimize the empirical Pareto frontier of the fairness-accuracy tradeoff. Specifically, we identify and outline the empirical Pareto frontier through Tradeoff-between-Fairness-and-Accuracy (TAF) Curves; we then develop a metric to quantify this Pareto frontier through the weighted area under the TAF Curve which we term the Fairness-Area-Under-the-Curve (FAUC). TAF Curves provide the first empirical, model-agnostic characterization of the Pareto frontier, while FAUC provides the first metric to impartially compare model families on both fairness and accuracy. Both TAF Curves and FAUC can be employed with all group fairness definitions and accuracy measures. Next, we ask: Is it possible to expand the empirical Pareto frontier and thus improve the FAUC for a given collection of fitted models? We answer affirmately by developing a novel fair model stacking framework, FairStacks, that solves a convex program to maximize the accuracy of model ensemble subject to a score-bias constraint. We show that optimizing with FairStacks always expands the empirical Pareto frontier and improves the FAUC; we additionally study other theoretical properties of our proposed approach. Finally, we empirically validate TAF, FAUC, and FairStacks through studies on several real benchmark data sets, showing that FairStacks leads to major improvements in FAUC that outperform existing algorithmic fairness approaches.

研究动机与目标

• 识别、量化并优化跨多种模型族的实证公平性-准确率帕累托前沿。
• 开发一种与模型无关的统一度量，用于公正比较不同模型的公平性与准确率。
• 解决在高风险机器学习决策中平衡公平性与准确率的关键挑战。
• 提出一种元学习框架，将实证帕累托前沿扩展至单个模型性能极限之外。
• 在真实世界基准数据集上实证验证所提框架。

提出的方法

• 提出 taf 曲线作为与模型无关的实证公平性-准确率帕累托前沿表征，绘制在每个公平性水平下的最大准确率。
• 引入公平性-曲线下面积（fauc）度量，作为 taf 曲线下加权面积，以量化整体公平性-准确率权衡。
• 开发 FairStacks，一种公平的模型堆叠框架，通过求解凸优化问题来组合模型，以在基于评分的公平性约束下最大化准确率。
• 使用约束凸规划优化预训练模型的线性组合，确保在所有公平性水平下实现公平性的同时提升准确率。
• 将该框架应用于真实世界数据集，展示了实证帕累托前沿和 fauc 的一致改进。
• 通过其与模型无关的设计，支持在所有群体公平性定义和准确率度量上的泛化。

实验结果

研究问题

• RQ1 是否可以以与模型无关的方式，对任意一组拟合模型的经验公平性-准确率帕累托前沿进行表征？
• RQ2 是否存在一个统一且可解释的度量，用于量化不同模型和公平性定义下的公平性-准确率权衡？
• RQ3 是否可以通过元学习将实证帕累托前沿扩展至单个模型性能极限之外？
• RQ4 FairStacks 框架是否在多种数据集和公平性标准下一致地改善公平性与准确率的权衡？
• RQ5 与现有算法公平性方法相比，所提框架在公平性和准确率方面表现如何？

主要发现

• taf 曲线首次以经验性、与模型无关的方式可视化了任意公平性与准确率定义下的公平性-准确率帕累托前沿。
• fauc 度量提供了一个单一的统一评分，可定量比较不同模型族在公平性-准确率平衡方面的表现。
• FairStacks 通过在每个公平性水平下实现比单个模型更高的准确率，持续扩展了实证帕累托前沿。
• 该框架在多个基准数据集上显著提升了 fauc 得分，优于现有的公平性缓解技术。
• 通过 FairStacks 的优化可保证扩展帕累托前沿，因为其求解的是在公平性约束下最大化准确率的凸规划问题。
• 该方法具有通用性，适用于任何群体公平性定义和准确率度量，支持广泛的实际部署。