[论文解读] A Human-in-the-loop Framework to Construct Context-dependent Mathematical Formulations of Fairness

Mohammad Yaghini, Hoda Heidari+1 more|arXiv (Cornell University)|Nov 8, 2019

Ethics and Social Impacts of AI参考文献 22被引用 5

一句话总结

本文提出了一种人机协同框架，通过校准Heidari等人提出的平等机会（EOP）模型中的参数，利用人类判断构建情境特定的公平性数学表述。通过将人类对公平的理解——如应得、处境和效用——嵌入到正式的经济模型中，该框架实现了情境自适应的公平性定义，表明人类判断对于捕捉算法公平性的社会细微差别至关重要。

ABSTRACT

Despite the recent surge of interest in designing and guaranteeing mathematical formulations of fairness, virtually all existing notions of algorithmic fairness fail to be adaptable to the intricacies and nuances of the decision-making context at hand. We argue that capturing such factors is an inherently human task, as it requires knowledge of the social background in which machine learning tools impact real people's outcomes and a deep understanding of the ramifications of automated decisions for decision subjects and society. In this work, we present a framework to construct a context-dependent mathematical formulation of fairness utilizing people's judgment of fairness. We utilize the theoretical model of Heidari et al. (2019)---which shows that most existing formulations of algorithmic fairness are special cases of economic models of Equality of Opportunity (EOP)---and present a practical human-in-the-loop approach to pinpoint the fairness notion in the EOP family that best captures people's perception of fairness in the given context. To illustrate our framework, we run human-subject experiments designed to learn the parameters of Heidari et al.'s EOP model (including circumstance, desert, and utility) in a hypothetical recidivism decision-making scenario. Our work takes an initial step toward democratizing the formulation of fairness and utilizing human-judgment to tackle a fundamental shortcoming of automated decision-making systems: that the machine on its own is incapable of understanding and processing the human aspects and social context of its decisions.

研究动机与目标

• 解决现有算法公平性表述在现实决策情境中缺乏适应性的问题。
• 认识到定义公平性需要人类对社会语境和社会影响的理解，而自动化系统本身无法提供这种理解。
• 开发一种实用方法，将人类判断整合到数学公平性模型中，以反映情境细微差别。
• 证明公平性感知因情境而异，并可通过人类受试实验系统性地捕捉。

提出的方法

• 改编Heidari等人提出的理论模型，将现有公平性概念视为经济理论中平等机会（EOP）的特例。
• 设计人类受试实验，收集参与者在假设再犯风险决策情境中对公平性的感知。
• 收集人类对EOP三个关键参数——处境、应得和效用——的判断，以校准公平性模型。
• 利用这些判断识别出在给定情境下最符合人类公平性感知的具体EOP表述。
• 采用人机协同方法，基于集体人类输入迭代优化公平性模型。
• 将最终的公平性定义形式化为适合在现实系统中部署的情境依赖数学模型。

实验结果

研究问题

• RQ1 在特定决策情境中，EOP家族中的哪种具体表述最能捕捉人类对公平性的感知？
• RQ2 人类对应得、处境和效用的判断在不同社会和决策情境中如何变化？
• RQ3 人类输入在多大程度上能提升算法公平性与社会价值观的一致性？
• RQ4 系统性的人机协同过程能否可靠地识别出情境特定的公平性定义？
• RQ5 感知到的公平性判断与标准算法公平性度量有何不同？

主要发现

• 人类对公平性参数的判断——尤其是应得和处境——在不同情境中存在显著差异，表明公平性并非普遍定义。
• 经过人类输入校准的EOP模型所生成的公平性表述，比标准公平性度量更符合参与者的感知。
• 参与者的公平性感知对个体成就（应得）和背景处境等情境因素敏感，而这些因素常被标准公平性定义所忽略。
• 人机协同框架成功识别出反映复杂社会价值观的情境特定公平性表述。
• 本研究证明，人类判断对于构建反映现实社会与伦理考量的公平性模型至关重要。