[论文解读] Limitations of Pinned AUC for Measuring Unintended Bias

Daniel Borkan, Lucas Dixon+4 more|arXiv (Cornell University)|Mar 5, 2019

Imbalanced Data Classification Techniques参考文献 3被引用 8

一句话总结

本文揭示了Pinned AUC度量方法在测量机器学习模型中无意偏见时的关键局限性，表明当身份子组之间的类别分布不平衡时，该方法会产生误导性结果。作者证明，由于数据不平衡，Pinned AUC可能错误地降低或夸大偏见测量值，因此建议采用先前研究中提出的对阈值不敏感的度量方法，这些方法对分布偏移具有鲁棒性。

ABSTRACT

This report examines the Pinned AUC metric introduced and highlights some of its limitations. Pinned AUC provides a threshold-agnostic measure of unintended bias in a classification model, inspired by the ROC-AUC metric. However, as we highlight in this report, there are ways that the metric can obscure different kinds of unintended biases when the underlying class distributions on which bias is being measured are not carefully controlled.

研究动机与目标

• 揭示Pinned AUC的根本缺陷：其对身份子组间类别分布不平衡的敏感性。
• 证明当测试数据未完全平衡时，Pinned AUC可能错误地反映无意偏见的真实程度。
• 将Pinned AUC分解为组成部分度量，揭示其对分布偏移的脆弱性。
• 倡导使用[1]中提出的对阈值不敏感的度量方法，作为Pinned AUC的更鲁棒且更细致的替代方案。
• 通过引入具有不平衡身份项的偏斜合成测试集，在类似真实世界的数据上验证Pinned AUC的不稳定性。

提出的方法

• Pinned AUC被定义为将50%的子组样本与50%的背景样本合并后的数据集的AUC，从而形成一种‘固定’的分布。
• 通过Mann-Whitney U统计量对度量进行数学分解，以分离出四对比较的贡献：背景 vs. 子组，以及跨类别对。
• 对合成测试集进行修改，引入类别不平衡——具体而言，减少身份项‘gay’的非毒性样本，以模拟现实世界中的数据偏斜。
• 在平衡和偏斜的测试集版本上重新评估Pinned AUC，通过100次随机试验的平均结果以减少抽样噪声。
• 分解结果显示，Pinned AUC是四个AUC组成部分的加权平均值，每个部分对类内与类外样本的相对大小均敏感。
• 作者在平衡和偏斜数据上对不同模型（TOXICITY@1 和 TOXICITY@6）的Pinned AUC结果进行比较，表明尽管模型行为完全相同，但偏见测量结果却不一致。

实验结果

研究问题

• RQ1 身份子组之间的类别分布不平衡在多大程度上影响Pinned AUC作为偏见度量指标的可靠性？
• RQ2 当不同子组中毒性与非毒性样本的比例不同时，Pinned AUC是否可能产生误导性结果——例如错误地表明偏见减少？
• RQ3 Pinned AUC的数学结构是什么，使其对数据分布偏移如此敏感？
• RQ4 是否存在对类别分布不平衡具有鲁棒性、能更准确反映无意偏见的替代对阈值不敏感度量方法？
• RQ5 通过受控的合成实验，Pinned AUC在现实数据分布下的失效程度如何？

主要发现

• 当非毒性样本减少50%时，身份项‘gay’的Pinned AUC值从0.87上升至0.91，错误地表明偏见降低，尽管模型行为未发生任何变化。
• 同一模型（TOXICITY@1）在偏斜数据集上，‘gay’的Pinned AUC增加了0.04，表明类别不平衡导致了显著的扭曲。
• 在偏斜数据集中，‘gay’的Pinned AUC为0.91，高于其他术语如‘lesbian’（0.91）和‘transgender’（0.97），尽管其潜在偏见保持不变。
• 将Pinned AUC分解为四个基于Mann-Whitney U的组成部分，表明其值是受类内与类外样本对相对大小影响的加权平均值。
• 作者确认，只有当所有身份子组具有完全相同的类别分布时，Pinned AUC才可靠，而这一条件在现实世界数据中极少满足。
• 来自[1]的对阈值不敏感度量方法，对分布偏移具有鲁棒性，能比Pinned AUC提供更准确、更细致的无意偏见视图。