[论文解读] Eliciting and Enforcing Subjective Individual Fairness.

Christopher Jung, Michael Kearns+4 more|arXiv (Cornell University)|May 25, 2019

Ethics and Social Impacts of AI参考文献 21被引用 41

一句话总结

该论文提出了一种通过从人类标注的应被同等对待的个体对中学习公平性约束，来获取并强制执行主观个体公平性的框架，无需假设预定义的公平性度量。该框架引入了一种Oracle高效、可证明收敛的算法，在满足这些主观公平性约束的同时最小化预测误差，并通过理论分析和对COMPAS数据集的行为研究，展示了在准确率和公平性方面的泛化能力。

ABSTRACT

We revisit the notion of individual fairness first proposed by Dwork et al. [2012], which asks that similar individuals should be treated similarly. A primary difficulty with this definition is that it assumes a completely specified fairness metric for the task at hand. In contrast, we consider a framework for fairness elicitation, in which fairness is indirectly specified only via a sample of pairs of individuals who should be treated (approximately) equally on the task. We make no assumption that these pairs are consistent with any metric. We provide a provably convergent oracle-efficient algorithm for minimizing error subject to the fairness constraints, and prove generalization theorems for both accuracy and fairness. Since the constrained pairs could be elicited either from a panel of judges, or from particular individuals, our framework provides a means for algorithmically enforcing subjective notions of fairness. We report on preliminary findings of a behavioral study of subjective fairness using human-subject fairness constraints elicited on the COMPAS criminal recidivism dataset.

研究动机与目标

• 为解决个体公平性依赖预定义度量的局限性，通过人类判断来获取公平性。
• 开发一种算法，以强制执行从主观成对比较中得出的公平性约束，而无需假设度量的一致性。
• 在所提出的框架下，证明模型准确率和公平性的泛化边界。
• 通过使用COMPAS再犯数据集中的真实世界公平性约束进行行为研究，对框架进行实证评估。

提出的方法

• 该框架从人类裁判或个体处收集一组成对公平性约束，指定两名个体应被同等对待。
• 将学习问题表述为约束优化任务，即在满足从成对比较中得出的公平性约束的前提下，使模型最小化预测误差。
• 该算法采用一种Oracle高效的策略，通过迭代查询公平性Oracle来检查约束是否满足，并据此调整预测。
• 采用一种可证明收敛的优化方法，如投影梯度下降或类似的迭代优化，以确保收敛到可行且准确的解。
• 理论分析建立了准确率和公平性的泛化边界，表明模型在未见数据上表现良好。
• 该方法在COMPAS刑事再犯数据集上进行评估，使用人类受试者在行为研究中收集的公平性约束。

实验结果

研究问题

• RQ1 是否可以在不假设预定义公平性度量的情况下，有效从人类判断中获取公平性？
• RQ2 如何高效地学习以满足一组可能存在不一致的成对公平性约束？
• RQ3 在主观公平性约束下训练的模型具有怎样的泛化特性？
• RQ4 在实践中，人类获取的公平性约束与基于度量的公平性定义相比如何？
• RQ5 主观公平性约束对现实世界应用中模型的准确率和公平性有何影响？

主要发现

• 所提出的算法可证明收敛到一个满足所有公平性约束且最小化预测误差的解。
• 建立了模型准确率和公平性的泛化边界，表明模型在未见数据上表现良好。
• 行为研究显示，人类获取的公平性约束具有多样性，且通常与任何单一度量不一致，验证了灵活框架的必要性。
• 该框架成功强制执行了主观公平性，而无需预设度量，实现了对人类直觉公平性的算法化强制。
• 结果表明，基于该框架训练的模型在保持高准确率的同时，能够满足复杂的人类衍生公平性约束。