[论文解读] Characterizing Intersectional Group Fairness with Worst-Case Comparisons

Avijit Ghosh, Lea Genuit+1 more|arXiv (Cornell University)|Jan 5, 2021

Ethics and Social Impacts of AI参考文献 30被引用 9

一句话总结

本文提出一种最坏情况比较方法，通过分析由受保护属性（如种族和性别）组合形成的子组，检测机器学习公平性度量中的隐藏交叉偏见。该方法将二元公平性度量（如假负类率一致）扩展至交叉子组，揭示了严重的不平等现象——例如，非裔美国人的假负类率（FNR）为0.065，而亚裔女性仅为0.0024，表明标准度量可能掩盖了代表性不足子组中的极端不公。

ABSTRACT

Machine Learning or Artificial Intelligence algorithms have gained considerable scrutiny in recent times owing to their propensity towards imitating and amplifying existing prejudices in society. This has led to a niche but growing body of work that identifies and attempts to fix these biases. A first step towards making these algorithms more fair is designing metrics that measure unfairness. Most existing work in this field deals with either a binary view of fairness (protected vs. unprotected groups) or politically defined categories (race or gender). Such categorization misses the important nuance of intersectionality - biases can often be amplified in subgroups that combine membership from different categories, especially if such a subgroup is particularly underrepresented in historical platforms of opportunity. In this paper, we discuss why fairness metrics need to be looked at under the lens of intersectionality, identify existing work in intersectional fairness, suggest a simple worst case comparison method to expand the definitions of existing group fairness metrics to incorporate intersectionality, and finally conclude with the social, legal and political framework to handle intersectional fairness in the modern context.

研究动机与目标

• 解决现有公平性度量的局限性，即无法检测代表性不足的交叉子组中的偏见。
• 揭示传统二元公平性度量（如仅按种族或性别划分）在考虑交叉子组时可能掩盖严重不公的现象。
• 提出一种实用的组合方法，通过最差情况差异比率评估所有受保护属性组合下的公平性。
• 展示该方法在多种度量中的适用性，包括分类和基于排序的公平性度量。
• 倡导在人工智能治理的法律、社会和伦理框架中整合交叉公平性。

提出的方法

• 将子组定义为所有受保护属性（如种族和性别）的可能组合，形成交叉群体的组合集合。
• 对每个交叉子组应用现有的群体公平性度量（如假负类率一致、注意力一致）。
• 计算最坏情况差异比率，即所有子组中平均度量值的最小值除以最大值，以识别最不利的群体。
• 将此最坏情况比率（AR）作为公平性指标——越接近1.0，表示交叉公平性越好。
• 在LSAC数据集上对真实世界模型应用该方法，评估分类和基于排序的公平性度量。
• 通过建模位置相关的注意力机制，将该框架适配至排序系统中的注意力度量，并计算子组特定的平均注意力值。

实验结果

研究问题

• RQ1 标准二元公平性度量为何无法捕捉代表性不足的交叉子组中的偏见？
• RQ2 组合受保护属性（如种族和性别）对公平性度量差异有何影响？
• RQ3 最坏情况比较方法能否有效揭示被聚合或二元公平性评估所掩盖的隐藏偏见？
• RQ4 如何使用基于注意力的度量在排序系统中衡量和监控交叉公平性？
• RQ5 交叉公平性对人工智能在法律、伦理和政策框架中的实际影响是什么？

主要发现

• 最坏情况差异比率在LSAC案例研究中揭示了交叉子组间假负类率的0.036比率，远低于理想的1.0，表明存在严重的交叉不公平性。
• 非裔美国男性的假负类率约为0.065，而亚裔美国女性仅为0.0024，显示出27倍的差异，该差异在二元度量中完全不可见。
• 仅按性别评估时，女性似乎占优（FNR ≈ 0.006），但当引入种族因素后，该趋势反转，非裔美国女性的FNR达到0.039。
• 该方法成功揭示了“公平性赤字划分”现象——即在二元层面上公平性看似可接受，但在交叉层面上却严重受损。
• 基于注意力的度量表明，子组曝光差异也可通过最坏情况比率进行量化，将该方法扩展至分类之外的场景。
• 该方法可轻松集成至现有公平性监控流程中，无需对模型架构进行重大修改。