[论文解读] Escaping the Impossibility of Fairness: From Formal to Substantive Algorithmic Fairness

Ben Green|arXiv (Cornell University)|Jul 9, 2021

Ethics and Social Impacts of AI参考文献 15被引用 11

一句话总结

本文通过批判将决策与更广泛社会背景隔离的形式化公平定义，挑战了算法决策中‘公平不可能’的论断。它提出了‘实质算法公平性’——一种根植于法律与哲学中实质平等理论的方法论——基于现实世界中的正义结果来评估算法，从而在数学约束下实现公共政策应用中的真正公平。

ABSTRACT

Efforts to promote equitable public policy with algorithms appear to be fundamentally constrained by the "impossibility of fairness" (an incompatibility between mathematical definitions of fairness). This technical limitation raises a central question about algorithmic fairness: How can computer scientists and policymakers support equitable policy reforms with algorithms? In this article, I argue that promoting justice with algorithms requires reforming the methodology of algorithmic fairness. First, I diagnose the problems of the current methodology for algorithmic fairness, which I call "formal algorithmic fairness." Because formal algorithmic fairness restricts analysis to isolated decision-making procedures, it leads to the impossibility of fairness and to models that exacerbate oppression despite appearing "fair." Second, I draw on theories of substantive equality from law and philosophy to propose an alternative methodology, which I call "substantive algorithmic fairness." Because substantive algorithmic fairness takes a more expansive scope of analysis, it enables an escape from the impossibility of fairness and provides a rigorous guide for alleviating injustice with algorithms. In sum, substantive algorithmic fairness presents a new direction for algorithmic fairness: away from formal mathematical models of "fair" decision-making and toward substantive evaluations of whether and how algorithms can promote justice in practice.

研究动机与目标

• 诊断当前形式化算法公平方法的局限性，这些方法将分析局限于孤立的决策程序。
• 解决数学上‘公平’的算法仍会延续系统性压迫的悖论。
• 提出一种新框架——实质算法公平性——基于算法对社会正义的实际影响来评估其表现。
• 将关注点从形式化的数学公平转向公共政策中实际、情境敏感的算法正义评估。
• 提供一种严谨、理论驱动的替代方案，使算法能够真正支持公平的政策改革。

提出的方法

• 借鉴法律与哲学中关于实质平等的理论，本文将公平的定义超越数学定义。
• 主张采用更广泛的分析范围，纳入塑造算法结果的历史、结构性和情境性因素。
• 该方法不以算法是否符合孤立的公平指标为评价标准，而是评估其在促进或破坏社会正义中的作用。
• 强调权力结构、历史边缘化和制度背景在评估算法影响中的重要性。
• 该方法整合批判性种族理论与批判法律研究，以指导对算法系统的评估。
• 将算法公平性视为一种规范性、情境依赖的探究，而非纯粹的技术优化问题。

实验结果

研究问题

• RQ1 为何形式化公平定义无法防止算法决策中的系统性压迫？
• RQ2 如何重新定义算法公平性，以超越数学上的不相容性并实现正义？
• RQ3 尽管符合公平指标，历史与结构性权力动态在多大程度上塑造了算法结果？
• RQ4 法律与哲学中的实质平等理论在评估算法系统方面可发挥何种作用？
• RQ5 如何评估算法不仅在孤立情境下的公平性，更在现实世界中对社会公平的影响？

主要发现

• 形式化算法公平性导致‘公平不可能’，因为它将决策与更广泛的社会和历史背景隔离。
• 若不关注结构性不平等，数学公平性定义不足以防止伤害。
• 实质算法公平性使对算法的评估更加严谨、情境敏感，能够识别并缓解系统性不公。
• 该框架可识别出仅通过形式指标评估时看似‘公平’但实际仍延续压迫的算法。
• 通过将公平建立在实质平等基础上，该方法为利用算法支持公平的公共政策提供了切实可行的路径。
• 本文表明，算法公平性必须重新定义为一种规范性、以正义为导向的探究，而非技术优化任务。