[论文解读] From Soft Classifiers to Hard Decisions: How fair can we be?

Ran Canetti, Aloni Cohen+4 more|arXiv (Cornell University)|Oct 3, 2018

Ethics and Social Impacts of AI参考文献 4被引用 4

一句话总结

本文研究了对校准后的软分类器进行后处理，以在二元决策中实现群体公平性，表明通过全局阈值实现预测值（PPV/NPV）相等在一般情况下是不可能的。本文提出了一种基于延迟的后处理方法，使不同群体之间的PPV、NPV、FPR和FNR能够实现相等，从而绕过了标准阈值法下的已知不可能性结果。

ABSTRACT

A popular methodology for building binary decision-making classifiers in the presence of imperfect information is to first construct a non-binary "scoring" classifier that is calibrated over all protected groups, and then to post-process this score to obtain a binary decision. We study the feasibility of achieving various fairness properties by post-processing calibrated scores, and then show that deferring post-processors allow for more fairness conditions to hold on the final decision. Specifically, we show: 1. There does not exist a general way to post-process a calibrated classifier to equalize protected groups' positive or negative predictive value (PPV or NPV). For certain "nice" calibrated classifiers, either PPV or NPV can be equalized when the post-processor uses different thresholds across protected groups, though there exist distributions of calibrated scores for which the two measures cannot be both equalized. When the post-processing consists of a single global threshold across all groups, natural fairness properties, such as equalizing PPV in a nontrivial way, do not hold even for "nice" classifiers. 2. When the post-processing is allowed to `defer' on some decisions (that is, to avoid making a decision by handing off some examples to a separate process), then for the non-deferred decisions, the resulting classifier can be made to equalize PPV, NPV, false positive rate (FPR) and false negative rate (FNR) across the protected groups. This suggests a way to partially evade the impossibility results of Chouldechova and Kleinberg et al., which preclude equalizing all of these measures simultaneously. We also present different deferring strategies and show how they affect the fairness properties of the overall system. We evaluate our post-processing techniques using the COMPAS data set from 2016.

研究动机与目标

• 分析对校准后的软分类器进行后处理以在二元决策中实现群体公平性的局限性。
• 研究是否可以通过在受保护群体间使用阈值法实现诸如相等PPV和NPV等公平性属性。
• 探讨延迟机制如何能够同时实现多个公平性度量（PPV、NPV、FPR、FNR）的相等。
• 在真实世界数据（COMPAS）上评估所提出方法，并分析公平性与延迟率之间的权衡。
• 考察延迟模型在公平性感知决策系统中的技术与程序影响。

提出的方法

• 使用群体感知阈值对校准后的软分类器进行后处理，以根据受保护群体调整决策边界。
• 引入一种延迟机制，其中部分输入被传递给下游决策者，而非直接分类。
• 对非延迟决策的公平性度量（PPV、NPV、FPR、FNR）进行条件化处理，以隔离主动决策中的公平性。
• 使用质量平均法与阈值策略，将一个准确率分布（AP）转换为另一个，同时保持公平性。
• 通过在非延迟事件上进行条件化，定义条件下的假正类与假负类率，以与标准定义保持一致。
• 使用阈值法结合延迟机制与AP转换技术，在COMPAS数据集上评估性能。

实验结果

研究问题

• RQ1 是否可以使用单个全局阈值对校准后的软分类器进行后处理，以在受保护群体之间实现PPV或NPV的相等？
• RQ2 在何种条件下，群体感知阈值可以在不违反校准性的情况下实现PPV或NPV的相等？
• RQ3 在允许延迟的情况下，是否能够通过后处理同时实现不同群体之间PPV、NPV、FPR与FNR的相等？
• RQ4 不同延迟模型如何影响最终决策系统的公平性与错误率？
• RQ5 在真实世界应用（如COMPAS）中，公平性、延迟率与准确率之间存在何种权衡？

主要发现

• 不存在一种通用方法，可通过单个全局阈值对校准后的分类器进行后处理，以在受保护群体之间实现PPV或NPV的相等。
• 对于某些行为良好的准确率分布（APs），群体感知阈值可以实现PPV或NPV的相等，但无法在全局阈值法下同时实现两者。
• 在允许延迟的情况下，可以对非延迟决策实现不同群体之间PPV、NPV、FPR与FNR的相等，从而有效绕过已知的不可能性结果。
• 基于延迟的后处理方法能够实现多个度量的完全公平性相等，即使仅使用阈值法无法实现。
• 在COMPAS数据集上的实验表明，基于延迟的方法可以在控制延迟率的前提下实现更公平的结果。
• 延迟模型的选择显著影响公平性度量，其中条件与无条件错误率定义会带来对系统性能的不同解释。