[论文解读] Metrics and methods for a systematic comparison of fairness-aware machine learning algorithms

Gareth Jones, James M. Hickey+4 more|arXiv (Cornell University)|Oct 8, 2020

Ethics and Social Impacts of AI被引用 7

一句话总结

本文提出了一套系统化的框架，通过一种新颖的度量标准——公平效率（fair efficiency），对公平感知机器学习算法进行比较，该度量标准以统一方式量化公平性与性能之间的权衡。研究在7个数据集上评估了28个建模流程，结果表明，公平感知方法可在不显著损失性能的前提下实现公平性，而数据集的特定特征对算法有效性具有显著影响。

ABSTRACT

Understanding and removing bias from the decisions made by machine learning models is essential to avoid discrimination against unprivileged groups. Despite recent progress in algorithmic fairness, there is still no clear answer as to which bias-mitigation approaches are most effective. Evaluation strategies are typically use-case specific, rely on data with unclear bias, and employ a fixed policy to convert model outputs to decision outcomes. To address these problems, we performed a systematic comparison of a number of popular fairness algorithms applicable to supervised classification. Our study is the most comprehensive of its kind. It utilizes three real and four synthetic datasets, and two different ways of converting model outputs to decisions. It considers fairness, predictive-performance, calibration quality, and speed of 28 different modelling pipelines, corresponding to both fairness-unaware and fairness-aware algorithms. We found that fairness-unaware algorithms typically fail to produce adequately fair models and that the simplest algorithms are not necessarily the fairest ones. We also found that fairness-aware algorithms can induce fairness without material drops in predictive power. Finally, we found that dataset idiosyncracies (e.g., degree of intrinsic unfairness, nature of correlations) do affect the performance of fairness-aware approaches. Our results allow the practitioner to narrow down the approach(es) they would like to adopt without having to know in advance their fairness requirements.

研究动机与目标

• 为解决在多样化应用场景下，公平感知机器学习算法缺乏标准化、系统化评估的问题。
• 识别在监督二分类任务中，哪些公平干预措施最有效地平衡公平性与预测性能。
• 提出并验证一种新度量标准——公平效率，以实现对公平干预措施的直接比较，且独立于决策阈值策略。
• 评估数据特定特征（如内在不公平性、特征相关性）对公平感知算法性能的影响。
• 提出并基准测试一种新颖的公平诱导特征选择方法——公平特征选择（Fair Feature Selection），作为比较基线。

提出的方法

• 提出一种新度量标准——公平效率，定义为公平性与预测性能的比值，并在决策阈值策略上进行归一化，以消除对阈值的依赖。
• 采用全面的实验设置，包含3个真实数据集和4个合成数据集，7个无公平性意识的基线模型，以及8种干预类型的20个公平感知模型。
• 应用两种不同的决策策略将模型输出转换为决策，以分析公平性评估中策略敏感性的影响。
• 使用互信息、F检验得分和随机森林重要性三种特征选择方法的加权组合，对特征进行排序，以实现公平特征选择。
• 通过训练中方法（如对抗学习、约束优化、正则化）实现公平性约束，以及后处理和预处理技术。
• 采用标准预测性能度量（如AUC、准确率）和公平性度量（如相等机会、人口均等）评估所有流程。

实验结果

研究问题

• RQ1 在多样化数据集上，哪些公平感知机器学习算法在公平性与预测性能之间提供了最佳权衡？
• RQ2 不同的决策阈值策略如何影响公平干预的评估？统一度量标准在多大程度上可缓解这种变异性？
• RQ3 数据集特定属性（如内在不公平程度或特征相关性结构）在多大程度上影响公平干预的有效性？
• RQ4 像公平特征选择这样简单且可解释的方法，是否能实现与更复杂公平感知训练方法相当的性能？
• RQ5 公平感知模型与无公平性意识基线相比，在校准性和预测能力方面表现如何？

主要发现

• 无公平性意识的模型即使在已知存在偏见的数据上训练，也始终无法产生足够公平的结果。
• 最简单的公平感知算法不一定是公平性最高的；其性能在很大程度上取决于数据集特征和算法设计。
• 公平感知算法可在不显著降低预测性能的前提下实现公平性，公平效率作为可靠的比较度量标准表现稳健。
• 基于拉格朗日缩减的两种方法（LagRed BT 和 LagRed LR）在大多数数据集上表现不佳，尤其在泰坦尼克号数据集上未能满足公平性要求。
• 公平特征选择在性能上可与更复杂的预处理和训练中方法相媲美，且在某些情况下在公平性-性能权衡上表现更优。
• 数据集的特殊属性（如相关性性质和内在不公平程度）显著影响公平干预的有效性，表明不存在一种方法能普遍占优。