[论文解读] Fair Balance: Mitigating Machine Learning Bias Against Multiple Protected Attributes With Data Balancing.

Zhe Yu|arXiv (Cornell University)|Jul 17, 2021

Ethics and Social Impacts of AI参考文献 11被引用 6

一句话总结

本文提出 FairBalance，一种数据平衡方法，通过均衡训练数据分布，同时缓解多种受保护属性（例如种族和性别）的偏差。在无偏标签下，FairBalance 显著降低了 AOD、EOD 和 SPD 等公平性度量，且未损害模型性能。

ABSTRACT

This paper aims to improve machine learning fairness on multiple protected at-tributes. Machine learning fairness has attracted increasing attention since machine learning models are increasingly used for high-stakes and high-risk decisions. Most existing solutions for machine learning fairness only target one protected attribute(e.g. sex) at a time. These solutions cannot generate a machine learning model which is fair against every protected attribute (e.g. both sex and race) at the same time. To solve this problem, we propose FairBalance in this paper to balance the distribution of training data across every protected attribute before training the machine learning models. Our results show that, under the assumption of unbiased ground truth labels, FairBalance can significantly reduce bias metrics (AOD, EOD, and SPD) on every known protected attribute without much, if not any damage to the prediction performance.

研究动机与目标

• 填补现有公平性方法仅针对单一受保护属性的空白。
• 开发一种方法，同时缓解针对多种受保护属性（如种族和性别）的偏差。
• 确保公平性改进不会损害模型预测性能。
• 平衡所有受保护属性的训练数据分布，以减少差异性影响。

提出的方法

• 应用数据平衡技术，以均衡训练数据中所有受保护属性组合的表示。
• 利用无偏真实标签的假设来指导平衡过程。
• 调整训练数据分布，以最小化模型在不同受保护属性上的结果差异。
• 确保平衡过程保留整体数据质量和模型效用。
• 将平衡后的数据无缝集成到标准机器学习训练流程中，无需架构修改。

实验结果

研究问题

• RQ1 单一数据平衡方法是否能有效同时减少多种受保护属性的偏差？
• RQ2 平衡训练数据分布是否能改善所有受保护属性的 AOD、EOD 和 SPD 等公平性度量？
• RQ3 所提出方法在多大程度上保持或降低模型预测性能？
• RQ4 在无偏真实标签假设下，FairBalance 的表现如何？

主要发现

• FairBalance 显著降低了所有受保护属性的平均机会差异（AOD）。
• FairBalance 显著降低了每个受保护属性的平等机会差异（EOD）。
• FairBalance 在所有受保护属性上实现了统计差异（SPD）的显著降低。
• 该方法在不引入性能下降的情况下，保持或提升了模型预测性能。