[论文解读] The Measure and Mismeasure of Fairness

Sam Corbett‐Davies, Gaebler, Johann D.+3 more|arXiv (Cornell University)|Jul 31, 2018

Ethics and Social Impacts of AI参考文献 50被引用 472

一句话总结

本论文将流行的正式公平定义分为两类，展示它们常常产生帕累托劣势的策略，并主张采用后果主义、与政策保持一致的公平算法设计方法。

ABSTRACT

The field of fair machine learning aims to ensure that decisions guided by algorithms are equitable. Over the last decade, several formal, mathematical definitions of fairness have gained prominence. Here we first assemble and categorize these definitions into two broad families: (1) those that constrain the effects of decisions on disparities; and (2) those that constrain the effects of legally protected characteristics, like race and gender, on decisions. We then show, analytically and empirically, that both families of definitions typically result in strongly Pareto dominated decision policies. For example, in the case of college admissions, adhering to popular formal conceptions of fairness would simultaneously result in lower student-body diversity and a less academically prepared class, relative to what one could achieve by explicitly tailoring admissions policies to achieve desired outcomes. In this sense, requiring that these fairness definitions hold can, perversely, harm the very groups they were designed to protect. In contrast to axiomatic notions of fairness, we argue that the equitable design of algorithms requires grappling with their context-specific consequences, akin to the equitable design of policy. We conclude by listing several open challenges in fair machine learning and offering strategies to ensure algorithms are better aligned with policy goals.

研究动机与目标

• 将现有正式公平定义分为两类：一类基于是否约束决策中的差异，另一类基于是否约束受保护属性对决策的影响。
• 通过分析与实证证明，这些公平概念在多种效用函数下常导致强烈的帕累托劣势策略。
• 说明在现实情境如大学招生中，传统的公平标准如何损害其旨在保护的群体。
• 就以政策目标和情境特定权衡为前提来设计公平算法提出建议。

提出的方法

• 提出一个形式化设定，个体以协变量 X、受保护属性 A、二元决策 D，以及在预算约束 b 下的结果 Y 表征。
• 定义并讨论多种公平概念，包括人口统计学公平、等化假阳性率，以及因果/反事实公平的变体。
• 使用因果有向无环图来呈现路径特定的公平，以将受保护属性到决策的合法路径与非法路径分离。
• 提供反事实和路径特异性构造，分析在指定因果路径上改变受保护属性将如何影响决策。
• 主张以后果主义框架，将算法决策视为政策工具并检视其更广泛的影响。

实验结果

研究问题

• RQ1 在公平机器学习中使用的正式公平定义的主要家族有哪些？它们在对待差异与受保护属性方面有何不同？
• RQ2 常见强制执行的公平标准在自然效用框架下会导致哪些帕累托劣势的决策策略？
• RQ3 如何用因果/路径特定的意义来概念化公平，以及这对面向政策的算法设计的实际意义？
• RQ4 在设计与政策目标对齐的公平算法时，可以提供哪些指引以替代“通过不知情实现公正”的公理化公平？
• RQ5 在有无外部性（如大学招生 vs. 医学筛查）等情境中，实施公平决策有哪些具体可操作的建议？

主要发现

• 流行的公平定义在一系列效用函数下可能产生强烈的帕累托劣势策略。
• 执行公理化的公平标准相对于针对结果的定制策略，可能降低大学招生中的多样性和学术准备程度。
• 盲化受保护属性并不普遍实现校准，并可能掩盖有意义的差异。
• 路径特异性与反事实公平通过将决策中的合法因果路径与非法路径分离，提供了更细致的视角。
• 以后果主义、关注政策的算法设计方法更符合现实世界的公平目标与取舍。