[论文解读] The four-fifths rule is not disparate impact: a woeful tale of epistemic trespassing in algorithmic fairness

Elizabeth Anne Watkins, Michael J. McKenna+1 more|arXiv (Cornell University)|Feb 19, 2022

Ethics and Social Impacts of AI被引用 16

一句话总结

本文批判了算法公平性领域对四分之五规则的误用——该规则原本是美国就业法的一项指导原则，却被当作独立的公平性度量标准。作者认为，这种做法构成认识论越界，扭曲了法律概念，并可能对伦理造成危害。作者展示了这一抽象概念如何被编码进主流AI工具包中，错误地将差别影响（disparate impact）视为可量化的阈值，导致误导性的合规声明以及现实决策系统中的义务论混淆。

ABSTRACT

Computer scientists are trained to create abstractions that simplify and generalize. However, a premature abstraction that omits crucial contextual details creates the risk of epistemic trespassing, by falsely asserting its relevance into other contexts. We study how the field of responsible AI has created an imperfect synecdoche by abstracting the four-fifths rule (a.k.a. the 4/5 rule or 80% rule), a single part of disparate impact discrimination law, into the disparate impact metric. This metric incorrectly introduces a new deontic nuance and new potentials for ethical harms that were absent in the original 4/5 rule. We also survey how the field has amplified the potential for harm in codifying the 4/5 rule into popular AI fairness software toolkits. The harmful erasure of legal nuances is a wake-up call for computer scientists to self-critically re-evaluate the abstractions they create and use, particularly in the interdisciplinary field of AI ethics.

研究动机与目标

• 揭露当美国就业法中的四分之五规则被抽象为AI中的一般公平性度量时所发生的认识论越界现象。
• 分析这种抽象如何扭曲差别影响的原始法律含义，并引发误导性的伦理与监管后果。
• 记录这一有缺陷的度量标准在主要AI公平性工具包中的传播，从而加剧其在各领域的误用。
• 强调将80%阈值视为普遍公平性标准所带来的义务论风险，尽管其法律起源极为有限。
• 呼吁计算机科学界在抽象化方面进行更多自我批判，尤其是在跨学科AI伦理研究中。

提出的方法

• 分析1978年由美国政府出版局正式颁布的四分之五规则（80%规则）的原始监管文本，该规则源自美国就业法。
• 将差别影响（DI）度量定义为一种提喻法：使用受保护群体与多数群体选择率的比率，以标记潜在的歧视行为。
• 追溯该度量从法律合规领域向算法公平性工具包（如Fairlearn、H2O.ai、Salesforce Einstein和Fairplay AI）的迁移过程。
• 证明该度量被应用于其原始范围之外的场景，包括非美国和非就业情境，尽管缺乏法律依据。
• 指出一种错误假设：满足80%阈值即等同于法律合规，而忽略了审理差别影响的完整法律程序。
• 批判“差别影响消除技术”（Feldman等，2015）作为该抽象的实体化，将其视为解决方案而非法律标准。

实验结果

研究问题

• RQ1 美国就业法中的四分之五规则是如何被抽象为算法公平性中的一般公平性度量的？
• RQ2 将80%阈值视为普遍公平性标准，其认识论与义务论后果是什么？
• RQ3 主流AI公平性工具包在多大程度上传播了这一抽象？其传播带来的社会风险是什么？
• RQ4 为何将DI度量与法律上的差别影响认定混为一谈，是一种认识论越界？
• RQ5 该度量的误用如何破坏AI系统中应有的法律推理与伦理决策？

主要发现

• 四分之五规则从来不是作为独立的公平性度量而设计的，而是作为就业歧视的监管指导原则，而非一般公平性标准。
• DI度量（定义为 |Pr(C=YES|X=0)/Pr(C=YES|X=1)| ≤ 0.8）是一种被实体化的抽象，错误地再现了差别影响的法律概念。
• 主流AI公平性工具包（如Fairlearn、H2O.ai、Salesforce Einstein和Fairplay AI）嵌入了DI度量，错误地暗示其在多样化领域中具有法律相关性。
• 该度量被应用于非美国司法管辖区和非就业情境（如住房、金融），尽管没有证据表明其在美联邦就业法之外被采纳。
• 认为满足80%阈值即代表公平性的信念，制造了一种虚假的合规感，掩盖了实际法律推理与情境化分析的必要性。
• “差别影响消除技术”将该度量视为解决方案，强化了错误观念：去偏见只是调整选择率的问题，而非解决系统性的法律或伦理问题。