[论文解读] Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees

L. Elisa Celis, Lingxiao Huang+2 more|arXiv (Cornell University)|Jun 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 51被引用 8

一句话总结

该论文提出了一种新颖的优化框架，用于在受噪声污染的受保护属性下实现公平分类，通过去噪的公平性约束，在存在翻转噪声的情况下仍能保持可证明的准确率与公平性保证。该框架支持多个非二元受保护属性，并适用于广义的线性分式公平性度量（例如，错误发现率），在Adult和COMPAS等真实数据集上实现了高公平性与最小的准确率损失。

ABSTRACT

We present an optimization framework for learning a fair classifier in the presence of noisy perturbations in the protected attributes. Compared to prior work, our framework can be employed with a very general class of linear and linear-fractional fairness constraints, can handle multiple, non-binary protected attributes, and outputs a classifier that comes with provable guarantees on both accuracy and fairness. Empirically, we show that our framework can be used to attain either statistical rate or false positive rate fairness guarantees with a minimal loss in accuracy, even when the noise is large, in two real-world datasets.

研究动机与目标

• 解决在训练或部署过程中受保护属性（如种族、性别）因翻转噪声而受损时，训练公平分类器的挑战。
• 开发一种统一的优化框架，即使在受保护属性输入存在噪声的情况下，仍能保持公平性与准确率的保证。
• 将现有公平分类方法扩展至支持多个非二元受保护属性，并支持广泛类别的线性分式公平性约束（如统计率、假正类率、错误发现率）。
• 在噪声数据条件下，为公平性与准确率提供理论保证，包括分类器性能的高概率界。
• 在真实数据集上实证验证该框架，证明其在高噪声水平下具有鲁棒性，并在公平性-准确率权衡上优于基线方法。

提出的方法

• 该框架引入一个去噪步骤，利用已知的噪声转移矩阵 $ H $ 矫正受噪声污染的受保护属性标签，从而构建校正后的公平性约束。
• 将问题形式化为一个带约束的优化问题（DFair程序），其中纳入了基于噪声转移矩阵逆矩阵 $ (H^ op)^{-1} $ 推导出的去噪公平性约束。
• 该方法支持加法和乘法公平性约束，重点针对错误发现率等线性分式度量，这些度量在高风险应用场景中较为常见。
• 使用逻辑损失函数进行模型训练，并应用基于VC维和Rademacher复杂度的泛化界，以确保高概率性能保证。
• 通过为每个属性和度量泛化噪声校正与约束构建过程，将框架扩展至多个受保护属性和多个公平性约束。
• 理论分析表明，在对底层数据分布和噪声模型施加弱假设的条件下，去噪问题的最优分类器在高概率下是可行且近似最优的。

实验结果

研究问题

• RQ1 当受保护属性因翻转噪声而受损时，能否有效训练出公平分类器，同时仍保持强公平性与准确率保证？
• RQ2 当用于约束执行的受保护属性本身存在噪声时，如何对公平性约束进行校正，特别是针对非二元和多个属性的情况？
• RQ3 基于去噪优化框架，在受噪声污染的受保护属性下训练分类器时，可为公平性与准确率提供哪些理论保证？
• RQ4 在噪声水平较高的情况下，该框架在实际应用中与基线方法相比表现如何，特别是在具有复杂公平性度量的真实数据集中？
• RQ5 该框架能否被推广以同时支持多个公平性度量（如统计率、假正类率、错误发现率）在多个非二元受保护属性上的应用？

主要发现

• 该框架在受保护属性存在大噪声水平时，仍能实现高水平的公平性（特别是统计率与假正类率），且准确率损失极小。
• 对于错误发现率（一种线性分式度量），该框架优于现有抗噪声的公平分类算法，在公平性方面表现更优，且准确率下降更少。
• 在Adult和COMPAS数据集上的实证结果表明，该框架在各种噪声水平和受保护属性类型下，始终在公平性-准确率权衡上优于无约束和基线公平分类器。
• 理论分析证实，在广义噪声模型和多个公平性约束下，该框架输出的分类器在高概率下是可行且近似最优的。
• 该框架的成功概率受以下界约束：$ 1 - O(kpe^{-rac{ u^2 au^2 n}{60000M^2} + t ext{ln}(50M/ u au))} $，其中 $ t $ 为VC维，确保在噪声条件下具备泛化能力。
• 即使受保护属性为非二元（如COMPAS中的种族），该框架仍保持有效，并在多种公平性度量与噪声配置下维持强劲性能。