[论文解读] Distributive Justice and Fairness Metrics in Automated Decision-making: How Much Overlap Is There?

Matthias Kuppler, Christoph Kern+2 more|arXiv (Cornell University)|May 4, 2021

Ethics and Social Impacts of AI被引用 6

一句话总结

本文主张，自动化决策中的公平性度量必须基于分配正义理论，而不仅仅是反歧视原则。通过区分预测任务（对现实的准确建模）与决策任务（基于正义的规范性分配），作者表明，当前聚焦于受保护群体间结果均等的公平性度量，未能捕捉到如平等主义、充分性与优先性等更广泛的正义原则，因此限制了算法系统中的伦理设计。

ABSTRACT

The advent of powerful prediction algorithms led to increased automation of high-stake decisions regarding the allocation of scarce resources such as government spending and welfare support. This automation bears the risk of perpetuating unwanted discrimination against vulnerable and historically disadvantaged groups. Research on algorithmic discrimination in computer science and other disciplines developed a plethora of fairness metrics to detect and correct discriminatory algorithms. Drawing on robust sociological and philosophical discourse on distributive justice, we identify the limitations and problematic implications of prominent fairness metrics. We show that metrics implementing equality of opportunity only apply when resource allocations are based on deservingness, but fail when allocations should reflect concerns about egalitarianism, sufficiency, and priority. We argue that by cleanly distinguishing between prediction tasks and decision tasks, research on fair machine learning could take better advantage of the rich literature on distributive justice.

研究动机与目标

• 澄清机器学习中的公平性度量与既有的分配正义理论之间的概念鸿沟。
• 证明当前的公平性度量不足以捕捉分配正义的核心原则，如平等主义、充分性与优先性。
• 倡导在自动化系统中明确区分预测（建模现实）与决策（规范性分配）任务。
• 鼓励开发者与领域专家协作，基于情境特定的正义理论选择适当的分配规则。
• 通过整合关于正义的哲学与社会学洞见，拓展公平机器学习中的决策空间。

提出的方法

• 系统性回顾哲学与社会学文献中的主要分配正义理论（如平等主义、充分主义、优先主义）。
• 分析机器学习中突出的公平性度量（如人口均等、机会均等），并将其映射到相应的正义理论。
• 提出一个概念框架，以区分预测任务（建模实际结果）与决策任务（基于道德价值定义公平分配规则）。
• 主张预测模型必须准确反映既存的社会偏见，以支持通过决策规则进行纠正，而非被约束为在各群体间产生相等输出。
• 建议公平性度量应检测实际结果（如模型所建模）与理想结果（如正义理论所定义）之间的偏差，而非本身强制实现均等。
• 强调技术开发者与领域专家之间的协作，以定义情境适当的分配规则。

实验结果

研究问题

• RQ1 机器学习中现有的公平性度量在多大程度上与既有的分配正义理论相契合？
• RQ2 为何当前的公平性度量在自动化决策中无法捕捉平等主义、充分性与优先性等原则？
• RQ3 如何通过区分预测与决策任务来改善算法系统的伦理设计？
• RQ4 分配正义理论在塑造现实应用中公平性度量方面应发挥何种作用？
• RQ5 如何形式化公平性度量，以检测与规范性正义理想的偏差，同时不扭曲预测准确性？

主要发现

• 当前的公平性度量（如人口均等、机会均等）仅限于反歧视逻辑，无法与平等主义或优先性等更广泛的分配正义原则对齐。
• 预测模型必须准确反映实际存在的社会不平等，以通过决策规则实现伦理修正；公平性度量不应对模型准确性构成约束。
• 机会均等仅在分配基于应得性时适用，而非在平等主义或充分主义原则相关时适用。
• 未能区分预测与决策任务，导致公平机器学习中对正义的理解过于狭隘。
• 尽管在高风险分配中具有相关性，但充分主义与优先主义等分配正义理论在公平性度量设计中仍被严重忽视。
• 明确区分预测与决策任务，可实现更具灵活性、伦理基础更牢固且情境敏感的分配系统。