[论文解读] Fairer and more accurate, but for whom?

Alexandra Chouldechova, Max G’Sell|arXiv (Cornell University)|Jun 30, 2017

Advanced Causal Inference Techniques参考文献 10被引用 33

一句话总结

本文提出了一种递归二元划分框架，用于识别在公平性度量（如错误率或接受率中的种族或性别差异）方面，两个机器学习模型存在显著差异的子群体。通过检测这些子群体层面的差异——这些差异通常被整体性能所掩盖——研究人员即使在模型整体表现相近时，也能发现隐藏的不公平现象，如在再犯预测和贷款发放案例中的表现。

ABSTRACT

Complex statistical machine learning models are increasingly being used or considered for use in high-stakes decision-making pipelines in domains such as financial services, health care, criminal justice and human services. These models are often investigated as possible improvements over more classical tools such as regression models or human judgement. While the modeling approach may be new, the practice of using some form of risk assessment to inform decisions is not. When determining whether a new model should be adopted, it is therefore essential to be able to compare the proposed model to the existing approach across a range of task-relevant accuracy and fairness metrics. Looking at overall performance metrics, however, may be misleading. Even when two models have comparable overall performance, they may nevertheless disagree in their classifications on a considerable fraction of cases. In this paper we introduce a model comparison framework for automatically identifying subgroups in which the differences between models are most pronounced. Our primary focus is on identifying subgroups where the models differ in terms of fairness-related quantities such as racial or gender disparities. We present experimental results from a recidivism prediction task and a hypothetical lending example.

研究动机与目标

• 为解决整体性能指标在公平性评估中的局限性，这些指标可能掩盖模型之间的显著子群体层面差异。
• 开发一种自动检测两个模型在公平性相关结果（如按种族或性别划分的假阳性率差异）上差异最大的子群体的方法。
• 在刑事司法和贷款等高风险领域实现模型比较，这些领域的决策直接影响个人生活，公平性至关重要。
• 通过揭示敏感属性（如种族、婚姻状况）的包含如何影响不同子人群体的公平性结果，支持模型选择。
• 提供一种基于数据的、原则性的子群体公平性分析方法，无需了解模型内部结构或共享输入变量。

提出的方法

• 使用基于检验的递归二元划分算法，根据候选变量（如年龄、性别、犯罪记录）将数据划分为子群体。
• 在每个节点上，应用统计检验（如卡方检验或t检验）检测两个模型之间公平性参数（如假阳性率或接受率差异）的不稳定性。
• 构建一个参数不稳定性树，识别两个模型之间公平性度量差异在统计上显著的子群体。
• 通过剪枝去除差异较小或实际意义不大的节点，集中关注有意义的子群体差异。
• 将差异度量Δ定义为每个子群体内两个模型之间公平性度量（如性别贷款率差距）的差异。
• 将该方法应用于真实案例：在再犯预测中比较COMPAS与Priors模型，在假设的贷款任务中比较小型与完整随机森林模型。

实验结果

研究问题

• RQ1 如何检测在整体性能相似的情况下，两个机器学习模型在公平性度量上存在显著差异的子群体？
• RQ2 公平性差异（如种族在假阳性率上的差异）在不同子人群体中有多大差异，当模型在输入变量上不同时，这些差异如何变化？
• RQ3 包含敏感属性（如种族、婚姻状况）对预测模型中子群体层面公平性结果有何影响？
• RQ4 模型比较框架能否揭示被聚合性能指标掩盖的隐藏不公平现象？
• RQ5 与包含犯罪记录（Priors）的模型相比，包含复杂黑箱模型（COMPAS）如何影响不同人口统计子群体中的公平性差异？

主要发现

• 在布劳瓦县再犯数据集中，COMPAS与Priors在32%的案例中意见不一致，尽管其整体准确率和AUC相似。
• 在不同子群体中，非裔与白人被告之间的假阳性率（FPR）种族差异显著不同：对于年轻男性，COMPAS显示较大的FPR差异（16.5%），而Priors几乎为零（0.5%）。
• 在假设的贷款示例中，完整模型中包含种族和婚姻状况后，已婚且受过大学教育群体中的性别贷款率差距减小，某些子群体甚至出现差距反转。
• 在未婚且受过大学教育的群体中，完整模型下男性贷款率显著下降，导致接受率的性别差距大幅缩小。
• 该方法成功识别出7个子群体，其中COMPAS与Priors的FPR差异显著，最大的差异由人口统计和犯罪记录变量驱动。
• 对参数不稳定性树进行剪枝，去除了效应量较小的节点（如Δ = 0.001），确保关注的是实际意义显著的差异，而非统计上显著但微不足道的差异。