[论文解读] FairTest: Discovering Unwarranted Associations in Data-Driven Applications

Florian Tramèr, Vaggelis Atlidakis+6 more|arXiv (Cornell University)|Oct 8, 2015

Ethics and Social Impacts of AI参考文献 47被引用 23

一句话总结

FairTest 引入了无根据关联（UA）框架，这是一种原则化的检测方法，用于识别数据驱动应用中不公平、歧视性或冒犯性的处理行为，通过识别算法结果与受保护属性（如种族、性别）之间统计显著且无法解释的关联。该框架能够实现可扩展的、统计严谨的不公平影响检测，适用于用户子群体，并具备调试功能以排除混杂因素的影响，已在医疗、定价和图像标记系统中实际检测到偏见，得到验证。

ABSTRACT

In a world where traditional notions of privacy are increasingly challenged by the myriad companies that collect and analyze our data, it is important that decision-making entities are held accountable for unfair treatments arising from irresponsible data usage. Unfortunately, a lack of appropriate methodologies and tools means that even identifying unfair or discriminatory effects can be a challenge in practice. We introduce the unwarranted associations (UA) framework, a principled methodology for the discovery of unfair, discriminatory, or offensive user treatment in data-driven applications. The UA framework unifies and rationalizes a number of prior attempts at formalizing algorithmic fairness. It uniquely combines multiple investigative primitives and fairness metrics with broad applicability, granular exploration of unfair treatment in user subgroups, and incorporation of natural notions of utility that may account for observed disparities. We instantiate the UA framework in FairTest, the first comprehensive tool that helps developers check data-driven applications for unfair user treatment. It enables scalable and statistically rigorous investigation of associations between application outcomes (such as prices or premiums) and sensitive user attributes (such as race or gender). Furthermore, FairTest provides debugging capabilities that let programmers rule out potential confounders for observed unfair effects. We report on use of FairTest to investigate and in some cases address disparate impact, offensive labeling, and uneven rates of algorithmic error in four data-driven applications. As examples, our results reveal subtle biases against older populations in the distribution of error in a predictive health application and offensive racial labeling in an image tagger.

研究动机与目标

• 解决由于意外算法偏见导致的数据驱动应用中不公平或歧视性待遇日益增长的挑战。
• 通过引入一个考虑适用性、粒度和实用性的原则化框架，统一并合理化先前的公平性定义。
• 开发一种实用且可扩展的工具，使开发者能够检测、调试和审计现实系统中的不公平关联。
• 通过提供系统化的公平性测试方法，支持监管和伦理对算法问责的要求。
• 揭示以往全局公平性度量或先前方法常被忽略的细微、子群体特定的偏见。

提出的方法

• 无根据关联（UA）框架将关联错误定义为算法输出与受保护属性之间存在强烈且统计显著的依赖关系，且无合理的解释因素。
• 该框架整合了多种公平性度量（如p值和标准化互信息NMI），以评估统计显著性和关联强度。
• FairTest 采用三阶段调查模型：（1）关联发现，（2）疑似偏见测试，（3）错误分析，以跨子群体分析算法错误。
• 通过支持上下文特定的过滤（如年龄、职业类型、教育程度），实现细粒度的子群体分析，以揭示特定用户群体中的隐藏偏见。
• 该工具整合了混杂因素分析，以排除观察到差异的合法解释，从而提高诊断准确性。
• FairTest 使用统计假设检验评估关联，确保在各种数据类型和应用中实现严谨、可复现的结果。

实验结果

研究问题

• RQ1 我们如何系统性地检测数据驱动应用中算法结果与受保护属性之间的不公平或歧视性关联？
• RQ2 何种方法论框架能够实现可扩展、统计严谨且细粒度的用户子群体不公平影响检测？
• RQ3 我们如何区分无根据关联与可由合法效用因素或混杂因素解释的关联？
• RQ4 像 FairTest 这样的工具在现实世界数据驱动系统中如何改善公平性审计与调试？
• RQ5 在标准基准数据集中，UA 框架能够揭示哪些新颖且此前未被发现的偏见？

主要发现

• FairTest 在 Adult Income 数据集中检测到对种族的显著不公平影响：在 42 岁以下、每周工作时间少于 55 小时的美国联邦政府雇员子群体中，91% 的黑人个体年收入低于 50,000 美元（p 值 = 3.24e-3，NMI = 0.1310）。
• 在同一数据集中，FairTest 揭示了在年长、教育程度较低的个体（9–11 年教育，年龄 ≥47 岁）中存在显著的性别偏见：88% 的女性收入较低，而男性为 56%（p 值 = 2.23e-35，NMI = 0.1442）。
• FairTest 在一个预测性医疗应用中发现了此前未记录的偏见，显示出对老年人群存在细微但统计显著的错误率差异。
• 在图像标记系统中，FairTest 识别出具有冒犯性的种族标签，证实此类偏见并非孤立事件，而是数据驱动模型中的系统性问题。
• 该工具成功识别出在 Staples 网站上，低收入用户在在线定价中存在高于预期的差异（种族的 p 值 = 1.39e-53，NMI = 0.0139），与先前报告的无意歧视一致。
• FairTest 能够隔离上下文的能力表明，部分最强的偏见集中在小而特定的子群体中，凸显了细粒度分析相较于全局度量的重要性。