[论文解读] Bayes-Optimal Classifiers under Group Fairness

Xianli Zeng, Edgar Dobriban+1 more|arXiv (Cornell University)|Feb 20, 2022

Ethics and Social Impacts of AI被引用 5

一句话总结

本文提出了一种统一框架，通过与Neyman-Pearson引理的新型联系，推导在群体公平约束下的贝叶斯最优分类器。它引入了FairBayes，一种基于群体的阈值化方法，可显式控制差异水平，在无需对特征分布做假设的前提下，实现最优的公平性-准确性权衡，并在多个数据集上优于现有方法，在准确性、公平性控制和效率方面表现更优。

ABSTRACT

Machine learning algorithms are becoming integrated into more and more high-stakes decision-making processes, such as in social welfare issues. Due to the need of mitigating the potentially disparate impacts from algorithmic predictions, many approaches have been proposed in the emerging area of fair machine learning. However, the fundamental problem of characterizing Bayes-optimal classifiers under various group fairness constraints has only been investigated in some special cases. Based on the classical Neyman-Pearson argument (Neyman and Pearson, 1933; Shao, 2003) for optimal hypothesis testing, this paper provides a unified framework for deriving Bayes-optimal classifiers under group fairness. This enables us to propose a group-based thresholding method we call FairBayes, that can directly control disparity, and achieve an essentially optimal fairness-accuracy tradeoff. These advantages are supported by thorough experiments.

研究动机与目标

• 为在一般群体公平约束下缺乏统一理论框架的贝叶斯最优公平分类器提供解决方案。
• 显式建模最优分类器对任意差异水平的依赖关系，从而可直接控制公平性违规程度。
• 通过推导此前未探索的公平度量（如总体准确率相等）下的公平贝叶斯最优分类器，扩展现有工作。
• 开发一种实用且高效的算法（FairBayes），在无需对特征分布做假设的前提下，实现最优的公平性-准确性权衡。
• 在二元和多分类受保护属性上通过实证验证该方法，证明其在公平性控制、准确性及计算效率方面表现更优。

提出的方法

• 利用Neyman-Pearson最优假设检验思想，推导出公平贝叶斯最优分类的统一理论框架。
• 推导出直接依赖于用户指定差异水平的群体层面阈值规则的显式闭式表达式。
• 提出FairBayes，一种后处理方法，通过应用群体特定的阈值对无约束预测结果进行调整，以实现期望的公平水平。
• 通过细致的随机化处理边界情况，确保在特征分布恰好位于公平性边界时仍能实现最优性能。
• 在实践中使用逻辑回归估计群体条件概率，从而实现可扩展的实现。
• 通过将框架扩展至通过人口均等性偏差（DDP）度量差异，支持多分类受保护属性。

实验结果

研究问题

• RQ1 我们如何系统性地推导在各种群体公平约束下的贝叶斯最优分类器，包括此前未研究的度量（如总体准确率相等）？
• RQ2 我们能否建立最优分类器与差异水平之间的显式、直接依赖关系，使用户能够直接指定公平性目标？
• RQ3 与现有公平学习方法相比，所提出的框架在公平性、准确性及计算效率方面的实际表现如何？
• RQ4 特征分布假设对公平分类器的最优性与鲁棒性有何影响？
• RQ5 该框架能否扩展至多分类受保护属性，同时保持理论最优性与实际效率？

主要发现

• FairBayes在所有测试数据集上均实现了最佳的公平性-准确性权衡，在具有多分类受保护属性的Adult数据集上，分类准确率达到0.831（±0.001）。
• 该方法将差异（DDP）降低至0.030（±0.013），显著优于基于KDE的方法（0.039 ± 0.024）和对抗性方法（0.221 ± 0.190）。
• FairBayes平均仅需57秒即可生成一条公平性-准确性权衡曲线，而基于KDE和对抗性基线的方法分别需197秒和213秒。
• 在|A|=10的合成数据上，FairBayes实现0.615的准确率和0.190的DDP，与理论上的公平贝叶斯最优分类器（0.615准确率，0.190 DDP）高度一致。
• 该方法在性能指标上保持极低的标准差（如Adult数据集上准确率的标准差为0.001），表明其具有高度稳定性和可复现性。
• FairBayes可重用无约束学习的输出，在多种公平性标准下高效生成公平分类器，从而实现高效的多公平性分析。