[论文解读] Demographic Parity: Mitigating Biases in Real-World Data

Orestis Loukas, Ho‐Ryun Chung|arXiv (Cornell University)|Sep 27, 2023

Insurance, Mortality, Demography, Risk ManagementSocial Sciences被引用 3

一句话总结

本文提出一种模型无关、数学严谨的方法，称为PUR（人口均等性、效用性与真实性），通过推导渐近公平分布，在保持分类效用和社会真实性的同时，消除现实世界数据集中的偏差。该方法利用迭代比例拟合（IPF）将训练数据投影到满足所有PUR约束的公平概率分布上，生成的合成数据在用于训练分类器时，可消除直接与间接偏差。在UCI Adult数据集上的验证表明，预测结果的群体均等性接近完美。

ABSTRACT

Computer-based decision systems are widely used to automate decisions in many aspects of everyday life, which include sensitive areas like hiring, loaning and even criminal sentencing. A decision pipeline heavily relies on large volumes of historical real-world data for training its models. However, historical training data often contains gender, racial or other biases which are propagated to the trained models influencing computer-based decisions. In this work, we propose a robust methodology that guarantees the removal of unwanted biases while maximally preserving classification utility. Our approach can always achieve this in a model-independent way by deriving from real-world data the asymptotic dataset that uniquely encodes demographic parity and realism. As a proof-of-principle, we deduce from public census records such an asymptotic dataset from which synthetic samples can be generated to train well-established classifiers. Benchmarking the generalization capability of these classifiers trained on our synthetic data, we confirm the absence of any explicit or implicit bias in the computer-aided decision.

研究动机与目标

• 解决现实世界数据中直接与间接偏差的问题，这些偏差会传播至人工智能决策系统，尤其是在招聘和刑事量刑等高风险领域。
• 开发一种公平的机器学习框架，将去偏与模型训练分离，实现与模型无关的公平性保证。
• 在从真实人口普查数据派生的合成数据集中，强制实现群体均等性的同时，保持分类效用与社会真实性。
• 证明基于公平分布生成的合成数据训练的分类器，在测试数据上能实现预测结果的近乎零偏差。

提出的方法

• 该方法强制实施三项核心约束：群体均等性（受保护群体间结果分布相等）、分类效用（保留原始类别关系）和社会真实性（忠实反映预测变量间的关系）。
• 使用迭代比例拟合（IPF）将经验训练分布投影到满足所有PUR约束的公平概率分布上。
• 通过在PUR约束下最小化原始数据分布的Kullback-Leibler散度，推导出公平分布，以确保最小化失真。
• 利用重采样方法从公平分布生成合成数据集，保持原始数据的规模与结构。
• 该方法应用于UCI Adult数据集，其中使用公平分布训练随机森林分类器。
• 通过在测试数据上比较不同受保护属性下的表现，使用差异比率指标评估最终分类器的公平性。

Figure 2: Attributable disparity over salary classes estimated by the prediction on simulated test data of information projection of train distributions under various conditions. Blue line denotes the estimate $p_{\textrm{pred}}(y|\mathbf{s}_{0})$ used as reference in 7 . The original data refers ba

实验结果

研究问题

• RQ1 一种模型无关的方法是否能在不损害分类效用或真实性的情况下，实现在真实世界数据中的群体均等性？
• RQ2 仅通过修改数据分布，能在多大程度上消除通过未受保护预测变量中介的间接偏差？
• RQ3 在从公平分布生成的合成数据上训练的分类器，在面对存在偏差的真实世界测试数据时，是否仍能保持公平性？
• RQ4 与基线去偏方法相比，PUR框架在不同敏感群体中维持群体均等性的表现如何？

主要发现

• 在从PUR投影生成的合成数据中，不同受保护群体（如男性/白人 vs. 其他）间年收入超过50K000美元的差异比率平均降低至约100%，表明实现了近乎完美的群体均等性。
• 在PUR投影生成的合成数据上训练的分类器，在测试数据上的预测结果保持近乎零偏差，差异比率围绕100%波动，且从未低于80%的阈值。
• 仅包含群体均等性（p投影）的分布未能消除间接偏差，因为基于此类数据训练的分类器因未解决混淆关系，重新引入了歧视性相关性。
• 仅包含效用与均等性（pu投影）的分布相比仅p投影有所改善，但只有完整包含社会真实性的PUR投影能持续在存在偏差的测试数据上保持预测的公平性。
• 该方法成功生成了保持原始数据规模与结构的合成数据集，同时确保公平性，该结论通过直接差异计算与分类器评估均得到验证。
• 该方法对有限样本波动表现出鲁棒性，与均等性的偏差仅归因于抽样噪声，而非系统性偏差。

Figure 3: Natural predictor $p_{\textrm{pred}}(y|\mathbf{s})$ of the pur -projection of train distribution evaluated on simulated test data for all profiles in $\mathbf{S}$ . Blue line denotes $f(y)$ as computed from the empirical distribution of the original data.