[论文解读] Fair and Optimal Classification via Post-Processing

Ruicheng Xian, Lang Yin+1 more|arXiv (Cornell University)|Nov 3, 2022

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出一种后处理方法，通过将最小误差率建模为Wasserstein中位数问题，在多类别、多群体分类中实现最优的群体平等性。该方法利用最优传输从预训练的得分函数推导出公平分类器，在公平性约束下实现最低可能的误差率，具有理论保证，并在基准数据集上得到实证验证。

ABSTRACT

To mitigate the bias exhibited by machine learning models, fairness criteria can be integrated into the training process to ensure fair treatment across all demographics, but it often comes at the expense of model performance. Understanding such tradeoffs, therefore, underlies the design of fair algorithms. To this end, this paper provides a complete characterization of the inherent tradeoff of demographic parity on classification problems, under the most general multi-group, multi-class, and noisy setting. Specifically, we show that the minimum error rate achievable by randomized and attribute-aware fair classifiers is given by the optimal value of a Wasserstein-barycenter problem. On the practical side, our findings lead to a simple post-processing algorithm that derives fair classifiers from score functions, which yields the optimal fair classifier when the score is Bayes optimal. We provide suboptimality analysis and sample complexity for our algorithm, and demonstrate its effectiveness on benchmark datasets.

研究动机与目标

• 刻画在一般多群体、多类别及噪声设置下，分类误差与群体平等性之间的内在权衡。
• 确定在群体平等性约束下，属性感知的随机化分类器可达到的最小误差率。
• 开发一种实用的后处理算法，利用预训练的得分函数实现最优的公平性-性能权衡。
• 为所提出的方法提供样本复杂度和次优性分析。
• 在基准数据集上实证验证该方法，展示对公平性-准确率权衡的精确控制。

提出的方法

• 在群体特定的贝叶斯最优得分函数基础上，将群体平等性下的最小误差率表征为松弛的Wasserstein中位数问题的最优值。
• 通过将贝叶斯最优得分函数与中位数解中导出的最优传输映射组合，构建最优公平分类器。
• 提出一种后处理算法，通过线性规划强制实现群体平等性，将任意预训练的得分函数转换为公平分类器。
• 使用二次规划寻找传输映射约束中的可行点，提升基于间隔的泛化性能。
• 针对有限样本估计实例化该算法，并提供理论样本复杂度边界。
• 在真实世界数据集（包括ACSIncome、BiasBios、Adult和Communities）上评估该方法，采用逻辑回归和基于BERT的模型。

实验结果

研究问题

• RQ1 在一般多群体、多类别及噪声设置下，群体平等性约束下的最小分类误差是多少？
• RQ2 如何从预训练的得分函数构建最优公平分类器？
• RQ3 在此一般设置下，公平性与准确率之间的理论权衡是什么？
• RQ4 与现有公平分类算法相比，所提出的后处理方法在性能和样本效率方面表现如何？
• RQ5 所提出算法的样本复杂度和次优性如何？

主要发现

• 在群体平等性约束下的最小误差率由群体特定条件均值分布的Wasserstein-1中位数问题的最优值给出。
• 最优公平分类器是贝叶斯最优得分函数与中位数解中导出的最优传输映射的复合。
• 当输入得分函数为贝叶斯最优时，所提出的后处理方法可实现理论最小误差率。
• 在基准数据集上，该方法实现了对公平性-准确率权衡的精确控制，其在可比公平性约束下的准确率优于现有方法（如FairProjection）。
• 该算法运行高效，大型数据集在CPU上后处理时间低于2秒，且在多个随机划分和模型类型下表现出鲁棒性。
• 使用二次规划寻找可行点可提升性能，相比线性规划，能进一步降低误差率和群体平等性违反程度。