[论文解读] Identifying Biased Subgroups in Ranking and Classification

Eliana Pastor, Luca de Alfaro+1 more|arXiv (Cornell University)|Aug 17, 2021

Imbalanced Data Classification Techniques参考文献 21被引用 4

一句话总结

本文提出一种方法，通过测量子模型性能与全局模型性能之间的统计差异，自动检测分类和排序系统中的偏见数据子群。结合频繁项集挖掘与Shapley值，该方法识别出FPR/FNR或收益差异极端的子群，并量化每个属性对偏见的贡献，从而在无需事先知晓敏感属性的情况下实现针对性的公平性审计。

ABSTRACT

When analyzing the behavior of machine learning algorithms, it is important to identify specific data subgroups for which the considered algorithm shows different performance with respect to the entire dataset. The intervention of domain experts is normally required to identify relevant attributes that define these subgroups. We introduce the notion of divergence to measure this performance difference and we exploit it in the context of (i) classification models and (ii) ranking applications to automatically detect data subgroups showing a significant deviation in their behavior. Furthermore, we quantify the contribution of all attributes in the data subgroup to the divergent behavior by means of Shapley values, thus allowing the identification of the most impacting attributes.

研究动机与目标

• 解决识别机器学习模型在某些数据子群中表现显著不同于全局数据集的问题。
• 自动化检测偏见子群，无需事先知晓敏感属性或预定义的受保护群体。
• 使用Shapley值量化单个属性对子群差异的贡献，以获得可操作的洞察。
• 将该方法扩展至分类与排序场景，实现多样化机器学习应用中的公平性审计。

提出的方法

• 引入一种差异度量，用于衡量子群与全局数据集之间性能统计量（如FPR、FNR、收益）的差异。
• 采用频繁项集挖掘（如FP-growth）高效发现由属性值组合构成、且支持度高于阈值的子群。
• 在挖掘过程中计算每个项集的结果统计量（如平均收益、假阳性率），以确定其差异程度。
• 应用Shapley值将项集的总差异分解为每个独立属性值的贡献。
• 使用支持度阈值筛选子群，确保其足够大，具有统计意义且可分析。
• 通过将收益建模为排名位置的函数（如γ(i) = i^−0.1），将该框架扩展至排序系统，实现对基于排名结果的差异分析。

实验结果

研究问题

• RQ1 哪些数据子群表现出与全局模型行为显著不同的性能（如更高的FPR或FNR）？
• RQ2 如何在不依赖预定义敏感属性的情况下自动检测此类子群？
• RQ3 在给定子群中，哪些单个属性对观察到的差异贡献最大？
• RQ4 在排序场景中，模型在不同子群中的表现如何变化，特别是收益分布方面？

主要发现

• 在COMPAS数据集中，子群{age<25, #prior>3, sex=Male}的FPR差异达到59%，表明存在较高的假阳性率。
• 子群{age>45, charge=M, race=Cauc}的FNR差异为30%，表明该人群存在较高的假阴性率。
• Shapley值分析显示，age<25和#prior>3对{age<25, #prior>3, sex=Male}子群的FPR差异贡献最大，而sex=Male的贡献较小。
• 在Law School数据集中，项集{LSAT≤33.0, race=Black, sex=Male}的ZFYA（第一年平均成绩）差异最小，其中race=Black是导致负面结果的主要因素。
• 该方法在支持度阈值s=0.005下高效识别出所有相关项集，并在十几秒内完成其差异计算，即使面对10^5个项集也表现良好。
• 分析凸显了在Law School实习排名中，种族是不公平收益分配的主要因素，提示需对这一关键领域进行进一步调查。