[论文解读] Fairness Aware Counterfactuals for Subgroups

Loukas Kavouras, Konstantinos Tsopelas+7 more|arXiv (Cornell University)|Jun 26, 2023

Social and Intergroup PsychologySocial Sciences被引用 3

一句话总结

FACTS 引入了一种模型无关的框架，用于通过分析反事实补救措施来审计子群公平性，提供了超越平均成本的精细化公平性概念，包括有效性-成本权衡和预算约束下的补救措施。它利用累积成本分布和条件度量，实现了对子群公平性的稳健、参数化评估，展示了在基准数据集上检测隐藏不公平性的优越能力。

ABSTRACT

In this work, we present Fairness Aware Counterfactuals for Subgroups (FACTS), a framework for auditing subgroup fairness through counterfactual explanations. We start with revisiting (and generalizing) existing notions and introducing new, more refined notions of subgroup fairness. We aim to (a) formulate different aspects of the difficulty of individuals in certain subgroups to achieve recourse, i.e. receive the desired outcome, either at the micro level, considering members of the subgroup individually, or at the macro level, considering the subgroup as a whole, and (b) introduce notions of subgroup fairness that are robust, if not totally oblivious, to the cost of achieving recourse. We accompany these notions with an efficient, model-agnostic, highly parameterizable, and explainable framework for evaluating subgroup fairness. We demonstrate the advantages, the wide applicability, and the efficiency of our approach through a thorough experimental evaluation of different benchmark datasets.

研究动机与目标

• 解决基于平均成本的公平性度量在评估受保护子群补救负担方面的局限性。
• 引入更细致、更稳健的公平性概念，以捕捉补救成本在个体层面的细微差异和子群层面的整体行为。
• 开发一种模型无关、可参数化的框架，用于使用反事实解释评估子群公平性。
• 实现考虑现实约束（如补救措施预算限制）的公平性审计。
• 展示该框架在效率、广泛适用性以及检测现实世界数据集中隐藏不公平性方面的能力。

提出的方法

• 引入有效性-成本分布（ECD），以可视化和分析个体层面补救成本与成功率之间的权衡。
• 提出新的公平性度量：有效性均等成本（宏观/微观）、补救选择均等性、预算内有效性均等性，以及公平的有效性-成本权衡。
• 使用反事实解释计算个体为获得有利结果所需进行的最小特征扰动。
• 采用参数化评估流程，允许对成本、有效性及预算约束的阈值进行调优。
• 应用 fp-growth 算法识别受影响人群中的子群，并根据公平性度制度分进行排序。
• 集成条件均值补救与公平性感知排序，以检测负担不成比例的子群。

实验结果

研究问题

• RQ1 基于平均补救成本的现有公平性度量为何无法捕捉子群间真实负担分布？
• RQ2 哪些精细化的公平性概念能更好地捕捉个体与子群层面补救可及性的公平性？
• RQ3 如何使公平性审计在成本约束和现实可行阈值下更具鲁棒性？
• RQ4 所提出的框架在多大程度上能检测到标准公平性度量未揭示的隐藏不公平性？
• RQ5 该框架在多种现实世界数据集中识别出不公平负担子群的表现如何？

主要发现

• 在广告活动数据集中，根据公平的有效性-成本权衡度量，排名前10%最不公平的128个子群中，有女性群体受到偏见影响，凸显了该方法对隐藏不公平性的敏感性。
• 在预算内有效性均等性（1.0）度量下，仅识别出1个子群为高度不公平，表明大多数子群在低成本约束下均可实现补救。
• 在补救选择均等性度量下，阈值为0.3时，有66个子群显示出对女性的偏见，表明即使低成本行动也能揭示显著的不平等。
• 在有效性均等成本（宏观）度量下，阈值为0.7时检测到264个最不公平的子群，表明对中等成本补救具有强敏感性。
• 公平的有效性-成本权衡度量在所有公平性度量中实现了最高的平均排名得分（0.971），表明其具备卓越的整体公平性检测能力。
• 在信贷评估数据集中，框架检测到80%的种族1个体可在成本预算为2的条件下实现补救，而种族0个体仅占60%，揭示了此前未被发现的不平等。