[论文解读] End-To-End Bias Mitigation: Removing Gender Bias in Deep Learning

Tal Feldman, Abigail Peake|arXiv (Cornell University)|Apr 6, 2021

Ethics and Social Impacts of AI参考文献 54被引用 20

一句话总结

本文提出了一种端到端的偏差缓解框架，融合了预处理、训练中处理和后处理技术，以减少深度学习模型中的性别偏差。在Adult数据集上的评估显示，该框架在公平性度量上优于单一方法，同时保持了高准确率，表明组合方法在不牺牲性能的前提下能实现更稳健的公平性。

ABSTRACT

Machine Learning models have been deployed across many different aspects of society, often in situations that affect social welfare. Although these models offer streamlined solutions to large problems, they may contain biases and treat groups or individuals unfairly based on protected attributes such as gender. In this paper, we introduce several examples of machine learning gender bias in practice followed by formalizations of fairness. We provide a survey of fairness research by detailing influential pre-processing, in-processing, and post-processing bias mitigation algorithms. We then propose an end-to-end bias mitigation framework, which employs a fusion of pre-, in-, and post-processing methods to leverage the strengths of each individual technique. We test this method, along with the standard techniques we review, on a deep neural network to analyze bias mitigation in a deep learning setting. We find that our end-to-end bias mitigation framework outperforms the baselines with respect to several fairness metrics, suggesting its promise as a method for improving fairness. As society increasingly relies on artificial intelligence to help in decision-making, addressing gender biases present in deep learning models is imperative. To provide readers with the tools to assess the fairness of machine learning models and mitigate the biases present in them, we discuss multiple open source packages for fairness in AI.

研究动机与目标

• 为解决在医疗、刑事司法和招聘等高影响力领域中部署的机器学习模型日益增长的性别偏差问题。
• 形式化机器学习中的公平性，并综述现有的预处理、训练中处理和后处理偏差缓解算法。
• 开发并评估一种新颖的端到端框架，整合多种缓解策略，以提升深度学习中的公平性。
• 将原本应用于统计模型的公平性技术扩展到深度学习场景中，评估其在复杂、高维模型中的有效性。
• 通过回顾和推荐开源工具，促进公平性研究的可及性，以支持偏差检测与缓解的实际应用。

提出的方法

• 该框架将预处理（例如，重加权、对抗性去偏）、训练中处理（例如，对抗性去偏、准确率约束）和后处理（例如，阈值优化）技术整合到一个统一的流程中。
• 预处理在模型训练前调整训练数据，以减少人口统计差异。
• 训练中处理在训练过程中修改学习目标，以施加公平性约束，例如通过对抗性训练来消除与性别相关的表征。
• 后处理在推理后重新校准模型预测，以改善公平性度量，如相等机会差异和平均机会差异。
• 端到端方法按顺序应用这三个阶段：数据重加权、带对抗正则化的公平训练，以及最终的阈值调整。
• 该框架在基于UCI Adult数据集训练的深度神经网络上进行评估，公平性通过相等机会差异、平均机会差异和统计独立性差异进行衡量。

实验结果

研究问题

• RQ1 结合预处理、训练中处理和后处理技术的端到端方法，是否能在深度学习中实现优于单一方法的公平性？
• RQ2 当多种缓解策略融合时，公平性度量（如相等机会差异和平均机会差异）如何变化？
• RQ3 原本为统计模型设计的现有公平性算法，在多大程度上可成功适配并应用于深度神经网络？
• RQ4 偏差缓解技术的融合是否能在显著提升公平性的同时保持模型准确率？
• RQ5 开源公平性工具在实际实现和评估现实世界机器学习应用中的偏差缓解方面，提供了哪些支持？

主要发现

• 端到端缓解模型（预 + 训练中 + 后处理）在相等机会差异和平均机会差异度量上表现最佳，优于所有单一方法。
• 除'预 + 后处理'外，所有融合算法的准确率均超过0.81，端到端模型在保持0.81准确率的同时显著提升了公平性。
• 尽管在深度学习设置中，单一方法（预处理、训练中处理或后处理）无法在所有三个公平性度量上均实现公平性，但端到端框架在所有度量上均实现了公平性。
• 端到端方法成功结合了各组件技术的优势，从而实现了一个既高度准确又始终公平的模型。
• 本研究证明，结合偏差缓解策略是构建更公平的深度学习模型在复杂现实应用中的一条可行且有效路径。