[论文解读] A survey of bias in Machine Learning through the prism of Statistical Parity for the Adult Data Set

Philippe Besse, Eustasio del Barrio+3 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Causal Inference Techniques参考文献 34被引用 9

一句话总结

本文通过在Adult Income数据集上使用统计均等性（statistical parity）研究机器学习中的偏见，利用差异影响（Disparate Impact）度量评估公平性。研究发现，直观的分组独立建模方法（如为每个群体分别训练模型）无效，而正向歧视策略（positive discrimination）可在不牺牲泛化能力的前提下减少偏见，凸显了在存在偏见的训练数据中实现公平性的复杂性。

ABSTRACT

Applications based on Machine Learning models have now become an indispensable part of the everyday life and the professional world. A critical question then recently arised among the population: Do algorithmic decisions convey any type of discrimination against specific groups of population or minorities? In this paper, we show the importance of understanding how a bias can be introduced into automatic decisions. We first present a mathematical framework for the fair learning problem, specifically in the binary classification setting. We then propose to quantify the presence of bias by using the standard Disparate Impact index on the real and well-known Adult income data set. Finally, we check the performance of different approaches aiming to reduce the bias in binary classification outcomes. Importantly, we show that some intuitive methods are ineffective. This sheds light on the fact trying to make fair machine learning models may be a particularly challenging task, in particular when the training observations contain a bias.

研究动机与目标

• 分析训练数据中的偏见如何影响二分类任务中的算法公平性。
• 使用著名的Adult Income数据集，通过差异影响指数量化偏见。
• 评估不同公平性缓解策略在减少群体层面歧视方面的有效性。
• 证明当训练数据不平衡时，一些常被视为公平的方法实际上无效。
• 强调在模型评估中整合公平性度量的重要性，而不仅依赖准确率。

提出的方法

• 本研究使用Adult Income数据集，这是公平性研究中的标准基准数据集，包含年龄、教育程度和性别等特征。
• 通过差异影响（DI）指数评估统计均等性，其定义为受保护群体与非受保护群体中获得有利结果的比例之比。
• 论文通过直接计算和自助抽样（bootstrap resampling）估计DI度量的置信区间，以评估公平性。
• 测试了两种缓解策略：独立处理（Separate Treatment，即为每个群体分别训练模型）和正向歧视（Positive Discrimination，即为不同群体应用不同的决策阈值）。
• 性能通过真正例率和真负例率进行评估，同时结合分类准确率和两组的公平性度量。
• 分析比较了多种算法的结果，重点关注逻辑回归及其他标准模型，以评估偏见的传播情况。

实验结果

研究问题

• RQ1 差异影响指数如何量化Adult Income数据集中存在的偏见？
• RQ2 当敏感属性（如性别）从训练数据中移除时，公平性会发生什么变化？
• RQ3 为每个群体分别训练模型是否能有效减少偏见？这是否会影响模型性能？
• RQ4 通过为不同群体应用不同决策规则的正向歧视策略，是否能带来更公平的结果？
• RQ5 为何一些基于测试的公平性方法尽管满足个体公平性，却无法检测到群体层面的偏见？

主要发现

• 原始Adult数据集表现出显著偏见，差异影响值表明性别群体间有利结果存在强烈差异。
• 从训练数据中移除敏感属性并不能消除偏见，因为与其他特征的关联仍会导致歧视性结果。
• 独立处理策略（即为每个群体分别训练模型）无法减少偏见，且由于数据不平衡，反而常加剧不公平性。
• 正向歧视策略（通过调整各群体的决策阈值）能有效减少偏见，同时保持良好的泛化性能。
• 即使像逻辑回归这样的简单模型，也会因虚假相关性而传播性别偏见，表明可解释性并不能保证公平性。
• 基于反事实的公平性测试方法在训练数据不平衡时，无法检测到群体层面的偏见，凸显了统计公平性度量的必要性。