[论文解读] Data preprocessing to mitigate bias: A maximum entropy based approach

L. Elisa Celis, Vijay Keswani+1 more|arXiv (Cornell University)|Jun 5, 2019

Ethics and Social Impacts of AI参考文献 36被引用 21

一句话总结

该论文提出了一种基于最大熵的数据预处理框架，通过在大规模领域上学习公平的分布来减轻数据集中的偏差，同时保持与原始数据的一致性。它通过多项式时间优化高效地强制实现统计均等性及受控的群体表征，从而在下游分类任务中实现公平性，且准确率下降最小。

ABSTRACT

Data containing human or social attributes may over- or under-represent groups with respect to salient social attributes such as gender or race, which can lead to biases in downstream applications. This paper presents an algorithmic framework that can be used as a data preprocessing method towards mitigating such bias. Unlike prior work, it can efficiently learn distributions over large domains, controllably adjust the representation rates of protected groups and achieve target fairness metrics such as statistical parity, yet remains close to the empirical distribution induced by the given dataset. Our approach leverages the principle of maximum entropy - amongst all distributions satisfying a given set of constraints, we should choose the one closest in KL-divergence to a given prior. While maximum entropy distributions can succinctly encode distributions over large domains, they can be difficult to compute. Our main contribution is an instantiation of this framework for our set of constraints and priors, which encode our bias mitigation goals, and that runs in time polynomial in the dimension of the data. Empirically, we observe that samples from the learned distribution have desired representation rates and statistical rates, and when used for training a classifier incurs only a slight loss in accuracy while maintaining fairness properties.

研究动机与目标

• 解决数据集中对性别或种族等受保护群体过度或不足表征的问题。
• 开发一种可扩展的预处理方法，在不扭曲原始数据分布的前提下保持公平性。
• 在满足公平性约束的同时，实现对受保护群体表征率的可控调节。
• 确保该方法在多项式时间内运行，使其适用于高维数据。
• 在实现统计均等性及其他公平性度量的同时，保持下游任务的模型准确率。

提出的方法

• 利用最大熵原则，在满足公平性约束的前提下，选择与先验分布KL散度最近的分布。
• 定义约束条件，以强制实现受保护群体的目标表征率，从而达成统计均等性。
• 采用可计算的优化公式，实现在大规模领域上的多项式时间计算。
• 基于经验数据分布构建先验分布，以保持与原始数据集的一致性。
• 应用拉格朗日松弛法，高效求解约束优化问题。
• 从学习到的公平分布中生成重加权样本或合成样本，用于下游学习。

实验结果

研究问题

• RQ1 最大熵框架能否被有效适配于数据预处理中的偏差缓解，并具备可证明的可扩展性？
• RQ2 该方法在多大程度上能控制群体表征率，同时保持与经验数据分布的接近性？
• RQ3 当使用学习到的分布进行下游分类时，公平性-准确率权衡如何表现？
• RQ4 该方法是否能在不访问模型预测结果的情况下实现统计均等性及其他公平性度量？
• RQ5 该方法在高维数据集上的计算效率如何？

主要发现

• 所提出的方法成功在大规模领域上以多项式时间复杂度学习到公平分布。
• 从学习到的分布中抽取的样本实现了受保护群体的期望表征率。
• 该方法在不显著偏离原始数据分布的前提下，保持了统计均等性及其他公平性度量。
• 在重加权数据上训练的下游分类器仅出现轻微准确率下降，同时保持了公平性。
• 该方法在公平性与保真度之间实现了良好平衡，展示了在真实世界数据集中的实际可行性。