[论文解读] Evaluating Fairness Metrics in the Presence of Dataset Bias

J. Henry Hinnefeld, Peter Cooman+2 more|arXiv (Cornell University)|Sep 24, 2018

Ethics and Social Impacts of AI参考文献 14被引用 13

一句话总结

本文在数据集偏差存在的情况下评估了六种公平性度量，将偏差检测问题框架化为因果推断问题。研究发现，没有一种度量能普遍检测出所有类型的偏差；其敏感性因偏差类型（采样偏差 vs. 标注偏差）而异，且这些度量常常无法将偏差与合法的真值不平衡区分开来，从而导致对模型公平性的错误信心。

ABSTRACT

Data-driven algorithms play a large role in decision making across a variety of industries. Increasingly, these algorithms are being used to make decisions that have significant ramifications for people's social and economic well-being, e.g. in sentencing, loan approval, and policing. Amid the proliferation of such systems there is a growing concern about their potential discriminatory impact. In particular, machine learning systems which are trained on biased data have the potential to learn and perpetuate those biases. A central challenge for practitioners is thus to determine whether their models display discriminatory bias. Here we present a case study in which we frame the issue of bias detection as a causal inference problem with observational data. We enumerate two main causes of bias, sampling bias and label bias, and we investigate the abilities of six different fairness metrics to detect each bias type. Based on these investigations, we propose a set of best practice guidelines to select the fairness metric that is most likely to detect bias if it is present. Additionally, we aim to identify the conditions in which certain fairness metrics may fail to detect bias and instead give practitioners a false belief that their biased model is making fair decisions.

研究动机与目标

• 调查在存在人工采样偏差和标注偏差的数据集上训练的机器学习模型中，不同公平性度量在检测偏差时的表现。
• 识别公平性度量可能无法检测出偏差的条件，从而导致对模型公平性的错误信心。
• 基于偏差的因果根源和真值不平衡，提供公平性度量选择的最佳实践指南。
• 强调真值阳性率差异在解释公平性度量结果中的关键作用。
• 利用观察数据将公平性评估框架化为因果推断问题，强调需要具备领域知识的解释。

提出的方法

• 研究构建了四个具有受控人工偏差的合成数据集：两个具有采样偏差，两个具有标注偏差，以及一个无偏差的基线数据集。
• 应用了六种公平性度量：均值差异、残差差异、平等机会、平等错误机会、差异影响和归一化互信息。
• 在两种条件下进行实验：一种是真值阳性率相等（实验A），另一种是真值阳性率不平衡（实验B）。
• 通过跨数据集比较结果，评估每种度量对采样偏差与标注偏差的敏感性。
• 分析将公平性评估视为因果推断问题，利用观察数据在不确定偏差来源的情况下评估度量的可靠性。
• 从观察到的度量行为中推导出最佳实践，尤其关注真值不平衡与偏差类型的关系。

实验结果

研究问题

• RQ1 不同公平性度量在检测机器学习模型中的采样偏差与标注偏差方面表现如何？
• RQ2 当不同受保护群体的真值阳性率不同时，公平性度量在多大程度上会无法检测出偏差？
• RQ3 在真值不平衡存在的情况下，哪些公平性度量对标注偏差最为敏感？
• RQ4 在缺乏外部真值的情况下，公平性度量的选择如何影响对模型公平性的解释？
• RQ5 在何种条件下，公平性度量会产生误导性结果，给人以虚假的公平感？

主要发现

• 除残差差异外，所有公平性度量在实验A中均正确识别出无偏差的数据集1为最不具偏差的。
• 残差差异对标注偏差表现出更高的敏感性，而平等错误机会对样本偏差更为敏感。
• 在实验B中，除残差差异外，所有度量均检测到数据集1存在显著偏差，而该数据集本应是人为无偏差且反映真值的。
• 当真值阳性率不平衡时，大多数度量对标注偏差的敏感性极低，表明其在检测此类偏差方面存在关键局限。
• 差异影响在真值不平衡的情境下尤其不适用，因为它可能错误地将公平模型标记为不公平。
• 归一化互信息在真值不平衡设置下表现出色，是检测样本偏差的有力候选度量，在此情境下优于其他度量。