[论文解读] Auditing and Achieving Intersectional Fairness in Classification Problems

Giulio Morina, Viktoriia Oliinyk+3 more|arXiv (Cornell University)|Nov 4, 2019

Ethics and Social Impacts of AI参考文献 32被引用 17

一句话总结

本文提出了一套全面的框架，用于审计和实现二分类中的交叉公平性，通过将公平性度量扩展到多个敏感属性，开发针对代表性不足子群体的稳健估计技术，并引入后处理方法，在保证预测性能的同时确保公平性。该方法无需依赖模型假设，即可在诸如“非裔美国女性”或“年长的拉丁裔男性”等群体间实现交叉公平性。

ABSTRACT

Machine learning algorithms are extensively used to make increasingly more consequential decisions about people, so achieving optimal predictive performance can no longer be the only focus. A particularly important consideration is fairness with respect to race, gender, or any other sensitive attribute. This paper studies intersectional fairness, where intersections of multiple sensitive attributes are considered. Prior research has mainly focused on fairness with respect to a single sensitive attribute, with intersectional fairness being comparatively less studied despite its critical importance for the safety of modern machine learning systems. We present a comprehensive framework for auditing and achieving intersectional fairness in classification problems: we define a suite of metrics to assess intersectional fairness in the data or model outputs by extending known single-attribute fairness metrics, and propose methods for robustly estimating them even when some intersectional subgroups are underrepresented. Furthermore, we develop post-processing techniques to mitigate any detected intersectional bias in a classification model. Our techniques do not rely on any assumptions regarding the underlying model and preserve predictive performance at a guaranteed level of fairness. Finally, we give guidance on a practical implementation, showing how the proposed methods perform on a real-world dataset.

研究动机与目标

• 为解决算法公平性研究中的关键空白，聚焦于交叉公平性，即多个敏感属性（如种族和性别）的交叉影响。
• 开发能够评估偏差不仅按单一属性，而且按属性组合（如“非裔美国女性”或“年长的拉丁裔男性”）的公平性度量。
• 为由于数据收集偏差导致代表性不足的交叉子群体，提供稳健的公平性度量估计技术。
• 设计后处理方法，在保持高预测性能的同时减轻检测到的交叉公平性偏差。
• 通过在Adult收入数据集和一个合成数据集上的实验，展示该框架的实际适用性。

提出的方法

• 通过为数据（提升值和影响比）和模型输出（相等机会和等化奇偶比）定义度量，将单属性公平性度量（如统计独立性、相等机会和等化奇偶比）扩展到交叉情境。
• 提出三种稳健的估计技术：平滑经验估计、自举法估计和贝叶斯估计，以提高对稀有子群体公平性估计的置信度。
• 将后处理建模为一个优化问题，通过按交叉子群体调整决策阈值和预测概率来满足公平性约束。
• 引入三种后处理策略：确定性（仅调整阈值）、顺序性（在最优得分基础上引入随机化）和整体性（联合优化阈值和概率）。
• 采用基于ε-差分公平性的公平性约束，确保不同子群体之间真阳性率的奇偶比保持在预定义范围内（ε ≤ 2.15）。
• 使用基线“最优得分模型”来比较后处理前后的预测性能，确保性能损失最小化。

实验结果

研究问题

• RQ1 如何有意义地将公平性度量扩展，以捕捉分类模型中多个敏感属性交叉下的不公平现象？
• RQ2 在某些子群体在数据中严重代表性不足的情况下，哪些估计技术能够可靠地测量交叉公平性？
• RQ3 后处理技术能否在不牺牲预测性能的前提下，实现保证的交叉公平性？
• RQ4 在公平性与性能的权衡方面，不同后处理策略（确定性、顺序性、整体性）之间有何比较？
• RQ5 在现实世界数据集（如Adult）中，稳健估计方法在多大程度上能够检测并量化交叉偏差？

主要发现

• 所有后处理模型均通过平滑经验估计、自举法估计和贝叶斯估计验证，实现了目标ε-差分公平性约束（约2.15）的等化奇偶比。
• ‘顺序性’和‘整体性’后处理方法在预测性能方面几乎与最优得分模型相当，准确率损失极小。
• ‘确定性’后处理模型相比其他策略承受了显著更高的期望损失，表明其权衡效果较差。
• 在最优得分模型基础上应用随机化，显著提升了对一个小而代表性不足子群体的性能，证明了该方法纠正模型偏差的能力。
• 贝叶斯估计和自举法估计提供了包含目标公平性阈值的可靠95%置信区间，验证了估计框架的稳健性。
• 该框架成功识别并缓解了Adult数据集中存在的交叉公平性偏差，特别是对‘非裔美国女性’和‘年长的拉丁裔男性’等常被标准公平性评估忽略的子群体。