[论文解读] Generative Adversarial Networks for Mitigating Biases in Machine Learning Systems

Adel Abusitta, Esma Aı̈meur+1 more|arXiv (Cornell University)|May 23, 2019

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文提出了一种基于条件生成对抗网络（cGAN）的框架，通过为代表性不足的人口群体生成合成的公平数据来缓解机器学习中的偏见。通过针对特定人口群体定制的cGAN生成样本对训练数据进行增强，该方法在减少偏见的同时提升了模型准确率，已在UCI Adult和Adience数据集上得到验证，准确率最高达85.5%，整体性能达92.27%。

ABSTRACT

In this paper, we propose a new framework for mitigating biases in machine learning systems. The problem of the existing mitigation approaches is that they are model-oriented in the sense that they focus on tuning the training algorithms to produce fair results, while overlooking the fact that the training data can itself be the main reason for biased outcomes. Technically speaking, two essential limitations can be found in such model-based approaches: 1) the mitigation cannot be achieved without degrading the accuracy of the machine learning models, and 2) when the data used for training are largely biased, the training time automatically increases so as to find suitable learning parameters that help produce fair results. To address these shortcomings, we propose in this work a new framework that can largely mitigate the biases and discriminations in machine learning systems while at the same time enhancing the prediction accuracy of these systems. The proposed framework is based on conditional Generative Adversarial Networks (cGANs), which are used to generate new synthetic fair data with selective properties from the original data. We also propose a framework for analyzing data biases, which is important for understanding the amount and type of data that need to be synthetically sampled and labeled for each population group. Experimental results show that the proposed solution can efficiently mitigate different types of biases, while at the same time enhancing the prediction accuracy of the underlying machine learning model.

研究动机与目标

• 通过针对有偏见的训练数据而非仅调整模型训练算法来解决机器学习系统中偏见的根本原因。
• 克服现有基于模型的缓解技术中固有的公平性与准确率之间的权衡。
• 通过生成补偿代表性不足群体数据稀缺与不平衡的合成数据，减少训练时间并提高效率。
• 通过基于专家对偏见类型和群体需求的了解，实现领域感知的数据增强，实现有针对性的合成数据生成。
• 将偏见分析与数据生成相结合，确保仅生成必要且相关的合成数据。

提出的方法

• 该框架采用条件生成对抗网络（cGAN）为代表性不足的特定人口群体生成高质量的合成数据。
• 通过生成器（Gen）和判别器（Dis）之间的极小化最大值两玩家博弈进行训练，其中生成器学习目标群体的真实数据分布。
• 通过类别标签或人口统计属性对生成器进行条件化，以生成具备期望公平属性的数据。
• 基于代表性不足群体的真实数据分布生成合成数据，并用于增强原始训练集。
• 该框架与偏见分析模块集成，以指导应生成多少及何种类型的合成数据。
• 最终模型在原始数据与合成数据的组合数据集上进行训练，以提升公平性与准确率。

实验结果

研究问题

• RQ1 基于cGAN的数据生成是否能有效减少机器学习模型中的偏见，同时不降低预测准确率？
• RQ2 与基线方法和基于枢轴的方法相比，使用cGAN进行合成数据增强在不同人口群体中的公平性与准确率表现如何？
• RQ3 基于领域的合成数据生成在多大程度上可提升模型性能，同时最小化不必要的数据合成？
• RQ4 将偏见分析与数据生成相结合是否能实现更高效、更精准的偏见缓解？
• RQ5 与需要大量超参数调优的基于模型的公平性技术相比，所提出的框架是否能减少训练时间？

主要发现

• 在UCI Adult数据集上，所提方法在900 HUs下达到85.5%的准确率，显著优于基线方法（82.9%）和基于枢轴的方法（77.3%）。
• 在Adience数据集上，所提方法在900 HUs下达到92.27%的整体准确率，优于基线方法（86.40%）和基于枢轴的方法（81.37%）。
• 对于非裔女性，分类准确率在使用cGAN生成样本进行数据增强后，从68.4%提升至88.6%，表明偏见缓解效果显著。
• 该方法在所有群体中均保持高准确率，包括白人男性（99.7%）和白人女性（92.5%），表明在不同人口群体间表现均衡。
• 该框架减轻了基于模型方法中常见的公平性-准确率权衡，实现了比现有方法更高的公平性与更高的准确率。
• 将偏见分析与数据生成相结合，实现了有针对性的高效数据合成，最大限度减少了冗余或不必要的合成样本生成。