[论文解读] FlipTest: Fairness Auditing via Optimal Transport.

Emily Black, Samuel Yeom+1 more|arXiv (Cornell University)|Jun 21, 2019

Ethics and Social Impacts of AI参考文献 32被引用 4

一句话总结

FlipTest 是一种黑箱公平性审计方法，利用最优传输技术匹配不同受保护群体中的个体，形成分布内配对以检测歧视。它识别出'翻转集'（flipset）——即在群体身份模拟后预测结果发生变化的个体，从而在总体公平性度量满足的情况下也能检测到有害子群体的不公待遇。

ABSTRACT

We present FlipTest, a black-box technique for uncovering discrimination in classifiers. FlipTest is motivated by the intuitive question: had an individual been of a different protected status, would the model have treated them differently? Rather than relying on causal information to answer this question, FlipTest leverages optimal transport to match individuals in different protected groups, creating similar pairs of in-distribution samples. We show how to use these instances to detect discrimination by constructing a flipset: the set of individuals whose classifier output changes post-translation, which corresponds to the set of people who may be harmed because of their group membership. To shed light on why the model treats a given subgroup differently, FlipTest produces a transparency report: a ranking of features that are most associated with the model's behavior on the flipset. Evaluating the approach on three case studies using real and synthetic data, we show that this provides a computationally inexpensive way to identify subgroups that may be harmed by model discrimination, including in cases where the model satisfies population-level group fairness criteria.

研究动机与目标

• 解决在满足总体公平性标准的前提下检测机器学习模型中子群体层面歧视的挑战。
• 开发一种无需因果假设或模型内部信息的黑箱方法，用于公平性审计。
• 通过透明度报告提供关于哪些特征最影响歧视性行为的可操作洞察。
• 利用基于最优传输的样本匹配实现高效、计算轻量的公平性评估。

提出的方法

• FlipTest 通过使用最优传输技术最小化分布差异，将不同受保护群体中的个体进行匹配，构建分布内配对。
• 它模拟一个反事实场景，即个体的受保护身份被翻转，从而生成输入的“平移”版本。
• 翻转集被定义为在该平移后分类器输出发生变化的个体集合，表明其结果可能因群体成员身份而受到歧视性影响。
• 透明度报告根据特征与翻转集中模型行为的相关性对特征进行排序，突出显示歧视性影响。
• 该方法以黑箱方式运行，仅需访问模型预测结果和输入数据。
• 它利用最优传输确保匹配对具有可比性，并能代表底层数据分布。

实验结果

研究问题

• RQ1 能否利用最优传输在不同受保护群体的个体之间创建公平且分布一致的比较？
• RQ2 当全局公平性度量满足时，翻转集方法是否仍能检测到有害的子群体歧视？
• RQ3 透明度报告在识别导致歧视性行为的最关键特征方面有多有效？
• RQ4 FlipTest 是否能在计算成本极低的前提下检测真实世界和合成数据集中的歧视？
• RQ5 FlipTest 在识别隐藏子群体差异方面与现有公平性审计方法相比表现如何？

主要发现

• FlipTest 能够成功识别出即使在模型满足总体公平性标准时仍受模型歧视影响的子群体。
• 该方法在传统公平性度量无法揭示子群体差异的情况下，仍能检测到歧视行为。
• 透明度报告通过列出与翻转集中歧视性行为最相关的特征，提供了可操作的洞察。
• 该方法计算效率高，可在无需访问模型内部结构的情况下实现黑箱审计。
• 在真实和合成数据上的评估表明，FlipTest 能够发现聚合公平性度量所遗漏的隐藏公平性问题。
• 翻转集有效捕捉了其结果对群体成员身份敏感的个体，突显了潜在的歧视行为。