[论文解读] Fairness Evaluation in Presence of Biased Noisy Labels

Riccardo Fogliato, Max G’Sell+1 more|arXiv (Cornell University)|Mar 30, 2020

Machine Learning and Data Classification参考文献 41被引用 23

一句话总结

本文提出了一种敏感性分析框架，用于评估在训练和评估依赖于有偏见、噪声标签（如逮捕记录而非实际再犯行为）的风险评估工具中的公平性，尤其在存在按种族划分的标签误分类时。通过引入参数 𝛼 来量化不同群体间的差异性噪声，该方法表明即使微小的标签偏差也可能破坏公平性结论，实证结果表明，促进公平性的算法在合理噪声水平下仍保持稳健。

ABSTRACT

Risk assessment tools are widely used around the country to inform decision making within the criminal justice system. Recently, considerable attention has been devoted to the question of whether such tools may suffer from racial bias. In this type of assessment, a fundamental issue is that the training and evaluation of the model is based on a variable (arrest) that may represent a noisy version of an unobserved outcome of more central interest (offense). We propose a sensitivity analysis framework for assessing how assumptions on the noise across groups affect the predictive bias properties of the risk assessment model as a predictor of reoffense. Our experimental results on two real world criminal justice data sets demonstrate how even small biases in the observed labels may call into question the conclusions of an analysis based on the noisy outcome.

研究动机与目标

• 解决风险评估工具依赖于有偏见的代理变量（如逮捕记录）而非真正感兴趣的结局（再犯）进行训练和评估这一关键挑战，而这种代理变量在不同种族群体中可能存在系统性偏差。
• 研究差异性误分类的影响，即在犯罪行为相同的情况下，不同种族群体被逮捕的可能性不同，这可能导致基于观测标签的公平性评估失效。
• 开发一种统计框架，量化公平性度量（如校准性、预测平等性、错误率平衡）对群体间未观测到的标签偏差的稳健性。
• 评估当训练标签受群体相关噪声影响时，促进公平性的机器学习算法是否仍有效。
• 证明基于观测逮捕数据的公平性结论可能因未观测到的目标变量偏差（TVB）而从根本上存在缺陷，即使模型在表面上看起来是公平的。

提出的方法

• 引入敏感性参数 𝛼 以建模群体特定的标签噪声，其中 𝛼₀ 和 𝛼₁ 分别表示在黑人群体和白人群体中，将真正再犯者错误分类为非再犯者的概率。
• 基于受因果推断敏感性分析启发的理论框架，推导出在不同 𝛼 水平下公平性度量（如预测平等性、错误率平衡）的解析边界。
• 应用加权重采样程序，在不同噪声假设下模拟数据，使用极端梯度提升树来估计种族特定的噪声率。
• 采用加权观测的逻辑回归来评估在标签依赖性噪声下的校准性，并使用沃尔德检验评估统计显著性。
• 在不同 𝛼 水平下，对四种算法（FERM、EQODDS、COMPAS6 和无约束逻辑回归）评估公平性度量，以比较其稳健性。
• 利用在系数空间中观察到的对角线约束（empirically observed），以改进在噪声下公平性度量行为的可解释性并收紧边界。

实验结果

研究问题

• RQ1 群体特定的标签噪声（即再犯行为的差异性误分类）如何影响基于逮捕数据训练的风险评估模型的公平性属性？
• RQ2 当观测标签是真实结果的有偏代理时，公平性度量（如校准性、预测平等性、错误率平衡）在多大程度上仍能保持？
• RQ3 何种程度的标签偏差（以 𝛼 表示）足以使基于观测数据的公平性结论发生逆转？
• RQ4 与无约束模型相比，促进公平性的算法（如 FERM、EQODDS）在现实水平的标签噪声下表现如何？
• RQ5 我们能否通过实证验证，在标签依赖性噪声下，公平性度量的边界仍保持紧密且可预测，即使理论边界较宽？

主要发现

• 即使极小的靶变量偏差（TVB），如 𝛼 = 0.12，也可能显著改变公平性结论，导致模型在逮捕数据上看似公平，但在预测实际再犯时可能不公平。
• 在 COMPAS 数据集中，种族系数（A）在标签依赖性噪声下保持稳定，但风险评分系数（S）对隐藏再犯者的假设极为敏感，表明公平性结论严重依赖于未观测到的标签结构。
• 当 𝛼 ≤ 0.2 时，无约束模型（如逻辑回归和 COMPAS6）无法实现错误率平衡，表明当存在噪声时，基于观测标签的公平性声明不可靠。
• 促进公平性的算法（如 FERM 和 EQODDS）在 𝛼 > 0.08 时可实现错误率平衡，表明其比无约束模型对标签噪声更具鲁棒性。
• 在 𝛼 = 0.12 时，当 𝛼₁ = 0.04 时，FERM 几乎在不同种族间实现了假阳性率和假阴性率的平衡，表明此类方法即使在中等程度的标签偏差下也能维持公平性。
• 实证结果表明，公平性度量系数始终位于连接理论边界的对角线上，验证了理论框架的正确性，并在理论区间较宽的情况下仍实现了更紧密的推断。