[论文解读] Identifying Significant Predictive Bias in Classifiers

Zhe Zhang, Daniel B. Neill|arXiv (Cornell University)|Nov 24, 2016

Imbalanced Data Classification Techniques参考文献 16被引用 40

一句话总结

本文提出了一种子集扫描方法，用于检测概率二值分类器在所有可能的特征子群中是否存在统计显著的预测偏差，通过快速扫描和参数自 resampling 方法处理指数级增长的子群搜索问题。该方法识别出此前被忽视的多维偏差，例如在 COMPAS 数据中对年轻男性和有轻罪定罪记录的女性存在过度预测，表明偏差可能源于模型设定错误，而不仅仅是人口统计学上的差异。

ABSTRACT

We present a novel subset scan method to detect if a probabilistic binary classifier has statistically significant bias -- over or under predicting the risk -- for some subgroup, and identify the characteristics of this subgroup. This form of model checking and goodness-of-fit test provides a way to interpretably detect the presence of classifier bias or regions of poor classifier fit. This allows consideration of not just subgroups of a priori interest or small dimensions, but the space of all possible subgroups of features. To address the difficulty of considering these exponentially many possible subgroups, we use subset scan and parametric bootstrap-based methods. Extending this method, we can penalize the complexity of the detected subgroup and also identify subgroups with high classification errors. We demonstrate these methods and find interesting results on the COMPAS crime recidivism and credit delinquency data.

研究动机与目标

• 检测概率分类器在所有可能的特征子群中是否存在统计显著的预测偏差，而不仅限于事先定义的人口统计群体。
• 通过使用快速子集扫描和参数自 resampling 方法，解决扫描指数级多子群所面临的计算与统计挑战。
• 识别出分类误差率较高或预测过于自信的子群，而不仅限于预测值与观测值奇偶比之间的偏差。
• 提供一种可解释的、基于数据的方法用于模型诊断，揭示现实世界风险预测系统中的隐藏偏差。

提出的方法

• 采用子集扫描方法，高效识别出所有可能的基于特征的子群中最具偏差的子群。
• 将预测偏差定义为子群内观测结果奇偶比与预测奇偶比之间的偏离。
• 使用参数自 resampling 方法估计统计显著性，同时对所有子群的多重检验进行校正。
• 通过引入复杂度惩罚项，避免过拟合，偏好更简单、更具可解释性的子群。
• 将方法扩展至检测分类误差率较高的子群，以识别预测中可能存在的过度自信。
• 通过在保留数据上测试检测到的子群，验证结果的一致性，确认偏差方向的稳健性。

实验结果

研究问题

• RQ1 我们能否在所有可能的特征子群中检测到分类器的统计显著预测偏差，而不仅限于预定义的人口统计群体？
• RQ2 如何在不进行完全计算的情况下，高效扫描指数级多的子群？
• RQ3 在考虑多重检验的情况下，检测到的子群偏差的统计显著性如何？
• RQ4 我们能否识别出因预测过度自信而导致分类误差率较高的子群？
• RQ5 检测到的偏差是否在保留数据中依然存在，表明其并非过拟合所致？

主要发现

• 在 COMPAS 数据集中，原始打分模型对具有轻罪定罪记录且 COMPAS 得分为 2、3、6、9 或 10 的女性存在显著过度预测（p = 0.035），观测复发率 0.21，预测值为 0.38。
• 25 岁以下的年轻男性存在显著低估（p < 0.005），观测复发率 0.60，预测值为 0.50。
• 有超过五次前科的被告被低估（平均预测值 0.60，观测值 0.72，n=1215），而无前科者则被高估（预测值 0.38，观测值 0.29，n=2085）。
• 在信用违约数据集中，高使用率（>15%）且在三个独立时间段内有逾期记录的账户被高估（观测值 0.79，预测值 0.90，p < 0.01，n=825）。
• 信用数据集中排名前 1% 的 496 位最危险客户中，有 470 人属于被高估的子群，表明调整预测可使最危险客户排名下降超过 40%。
• 在对子群复杂度施加惩罚后，该方法识别出更简单、更具可解释性的子群（如仅含 2 或 3 个特征），同时保持统计显著性，从而提升了模型的可解释性。