[论文解读] Classification with abstention but without disparities

Nicolas Schreuder, Evgenii Chzhen|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 37被引用 5

一句话总结

本文提出一种后处理算法，通过使用未标记数据优化准确率、公平性和受控拒绝率，将任何现成的基于分数的分类器转化为公平且可拒绝的分类器。该方法建立了有限样本保证，并表明当有足够的未标记数据时，公平性和拒绝行为可独立于初始分类器实现，从而有效规避风险-公平性权衡。

ABSTRACT

Classification with abstention has gained a lot of attention in recent years as it allows to incorporate human decision-makers in the process. Yet, abstention can potentially amplify disparities and lead to discriminatory predictions. The goal of this work is to build a general purpose classification algorithm, which is able to abstain from prediction, while avoiding disparate impact. We formalize this problem as risk minimization under fairness and abstention constraints for which we derive the form of the optimal classifier. Building on this result, we propose a post-processing classification algorithm, which is able to modify any off-the-shelf score-based classifier using only unlabeled sample. We establish finite sample risk, fairness, and abstention guarantees for the proposed algorithm. In particular, it is shown that fairness and abstention constraints can be achieved independently from the initial classifier as long as sufficiently many unlabeled data is available. The risk guarantee is established in terms of the quality of the initial classifier. Our post-processing scheme reduces to a sparse linear program allowing for an efficient implementation, which we provide. Finally, we validate our method empirically showing that moderate abstention rates allow to bypass the risk-fairness trade-off.

研究动机与目标

• 通过引入受控拒绝机制，解决二分类中的风险-公平性权衡问题。
• 将公平分类与拒绝问题形式化为一个约束风险最小化问题。
• 开发一种后处理算法，仅使用未标记数据修改任何预训练分类器，以强制实施公平性和拒绝约束。
• 在有足够的未标记数据时，建立与初始分类器质量无关的有限样本风险、公平性和拒绝保证。
• 使实践者能够控制每个敏感群体的拒绝率，同时确保公平性并最小化误分类风险。

提出的方法

• 最优分类器被定义为一个带有公平性和拒绝约束的约束风险最小化问题的解，导出一个涉及群体特定阈值的闭式表达式。
• 该方法将后处理步骤形式化为一个稀疏线性规划（LP-原始）问题，通过引入松弛变量，在公平性和拒绝约束下最小化误分类风险。
• 该算法使用未标记数据估计群体特定的条件概率和拒绝阈值，从而实现群体依赖的拒绝率。
• LP公式通过结构化矩阵 A 和向量 b 紧凑表示，并在未标记样本数量远大于群体数量时利用稀疏性。
• 该方法即插即用：可应用于任何基于分数的分类器而无需重新训练，保留原始模型的预测结果，同时调整公平性和拒绝行为。
• 该方法确保在有足够的未标记数据时，公平性和拒绝约束的满足独立于初始分类器的性能。

实验结果

研究问题

• RQ1 后处理方法是否能在不损害预测准确率的前提下，实现二分类中的公平性和受控拒绝？
• RQ2 在使用未标记数据时，公平性和拒绝约束在多大程度上可与初始分类器的性能解耦？
• RQ3 一种同时强制实施公平性和拒绝的后处理算法的有限样本性能保证是什么？
• RQ4 在风险、公平性和拒绝率控制方面，该方法与现有方法相比表现如何？
• RQ5 在联合公平性和拒绝约束下，最优拒绝分类器是否可以显式表征？

主要发现

• 当有足够的未标记数据时，所提出的后处理算法实现了与初始分类器质量无关的有限样本风险、公平性和拒绝保证。
• 在使用足够多的未标记数据时，公平性和拒绝约束可同时满足且独立于初始分类器，实现解耦。
• 该方法简化为一个可高效求解的稀疏线性规划，支持实际部署。
• 实证验证表明，适度的拒绝率使模型能够规避传统风险-公平性权衡。
• 最优分类器被表征为一种基于阈值的规则，其依赖于群体特定的条件概率和公平性约束。
• 该算法显式控制群体层面的风险和拒绝率，防止产生差异性影响。