[论文解读] Improving Fairness of AI Systems with Lossless De-biasing

Yan Zhou, Murat Kantarcıoğlu+1 more|arXiv (Cornell University)|May 10, 2021

Ethics and Social Impacts of AI参考文献 11被引用 6

一句话总结

本文提出了一种无信息损失的去偏技术，通过生成合成数据来过采样少数群体，从而在不改变原始数据语义的前提下提升AI系统的公平性。该方法通过缓解类别不平衡问题，同时提升了公平性和准确性，在多个真实世界数据集上优于现有的预处理、训练中处理和后处理技术。

ABSTRACT

In today's society, AI systems are increasingly used to make critical decisions such as credit scoring and patient triage. However, great convenience brought by AI systems comes with troubling prevalence of bias against underrepresented groups. Mitigating bias in AI systems to increase overall fairness has emerged as an important challenge. Existing studies on mitigating bias in AI systems focus on eliminating sensitive demographic information embedded in data. Given the temporal and contextual complexity of conceptualizing fairness, lossy treatment of demographic information may contribute to an unnecessary trade-off between accuracy and fairness, especially when demographic attributes and class labels are correlated. In this paper, we present an information-lossless de-biasing technique that targets the scarcity of data in the disadvantaged group. Unlike the existing work, we demonstrate, both theoretically and empirically, that oversampling underrepresented groups can not only mitigate algorithmic bias in AI systems that consistently predict a favorable outcome for a certain group, but improve overall accuracy by mitigating class imbalance within data that leads to a bias towards the majority class. We demonstrate the effectiveness of our technique on real datasets using a variety of fairness metrics.

研究动机与目标

• 解决AI系统中对特权人口群体过度偏好的算法偏见。
• 克服现有去偏技术通过数据转换或失真导致信息损失的局限性。
• 通过针对少数群体的类别不平衡问题，实现公平性提升而不牺牲模型准确性。
• 开发一种合成数据生成方法，在保留原始数据先验的同时增强弱势群体的表示。
• 通过多种公平性度量，在多样化数据集上实证验证该方法。

提出的方法

• 该方法通过生成合成数据来过采样训练集中代表性不足的群体，特别针对有利预测基线差异产生的区域。
• 通过在生成合成数据时保持原始数据分布和类别先验，确保避免信息损失。
• 该方法根据偏见模式，选择性地对代表性不足群体中的受 favor 类别或特权群体中的不受 favor 类别进行过采样。
• 使用保持原始数据统计特性的数据增强策略生成合成样本，同时提高少数群体的代表性。
• 该技术作为预处理流程的一部分，在模型训练前应用，以提升公平性而不修改学习算法。
• 通过Theil指数、平等机会差异和平均奇偶差异等公平性度量，在多个数据集上对方法进行评估。

实验结果

研究问题

• RQ1 合成数据生成是否能在不引入信息损失或降低准确率的前提下提升AI系统的公平性？
• RQ2 对代表性不足群体的过采样如何影响平等机会和平均奇偶差异等公平性度量？
• RQ3 所提出的去偏方法在公平性与准确率权衡方面是否优于现有的预处理、训练中处理和后处理技术？
• RQ4 在何种情况下，对代表性不足群体中受 favor 类别的过采样，相比对特权群体中不受 favor 类别的过采样，能带来更好的公平性结果？
• RQ5 该方法是否能有效缓解模型预测中的基线差异，同时保持原始数据分布？

主要发现

• 所提出的去偏技术在所有测试数据集上，其公平性度量均持续优于现有方法，如重加权（Reweighing）、偏见消除（Prejudice Remover）和拒绝选项（Reject Option）。
• 在Compas数据集上，该方法在配对t检验中p值 < 0.002，实现了公平性提升，同时将准确率保持在基线的3%以内。
• 在Bank数据集上，该方法在提升公平性方面最为有效，显著优于Prejudice Remover，并与Reject Option的公平性表现相当，但准确率下降更小且方差更低。
• 在Medical Expense Price数据集上，该方法在Theil指数和平等机会差异方面表现与或优于Reweighing、Prejudice Remover和Reject Option。
• 同时对代表性不足群体中的受 favor 类别和特权群体中的不受 favor 类别进行过采样，得到的结果处于中间水平，证实了该方法的灵活性和鲁棒性。
• 该方法在多种模型（包括逻辑回归、随机森林、SVM和神经网络）上均表现出良好的泛化能力，所有模型均实现了稳定且一致的公平性提升。