[论文解读] An Algorithmic Framework for Fairness Elicitation

Christopher Jung, Michael Kearns+4 more|arXiv (Cornell University)|May 25, 2019

Ethics and Social Impacts of AI参考文献 32被引用 9

一句话总结

本文提出了一种算法框架，通过个体之间的成对比较从利益相关者处获取公平性约束，其中利益相关者指定一人应被同等或更优对待于另一人。该方法采用一种Oracle高效、可证明收敛的优化算法，在这些主观约束下学习公平模型，实现强大的泛化能力，并支持公平性与准确率之间的权衡，基于COMPAS数据集的实证验证表明主观公平性与统计公平性度量之间具有一致性。

ABSTRACT

We consider settings in which the right notion of fairness is not captured by simple mathematical definitions (such as equality of error rates across groups), but might be more complex and nuanced and thus require elicitation from individual or collective stakeholders. We introduce a framework in which pairs of individuals can be identified as requiring (approximately) equal treatment under a learned model, or requiring ordered treatment such as "applicant Alice should be at least as likely to receive a loan as applicant Bob". We provide a provably convergent and oracle efficient algorithm for learning the most accurate model subject to the elicited fairness constraints, and prove generalization bounds for both accuracy and fairness. This algorithm can also combine the elicited constraints with traditional statistical fairness notions, thus "correcting" or modifying the latter by the former. We report preliminary findings of a behavioral study of our framework using human-subject fairness constraints elicited on the COMPAS criminal recidivism dataset.

研究动机与目标

• 为解决预定义分析性公平性定义的局限性，通过成对比较让利益相关者参与定义公平性。
• 开发一种算法，在确保收敛性和泛化能力的前提下，学习在获取的公平性约束下最准确的模型。
• 实现主观公平性偏好与传统统计公平性概念的整合。
• 实证研究人类公平感知的差异性及其与标准公平性度量的一致性。

提出的方法

• 通过四选一切对比较获取公平性偏好：同等对待、A优于B、B优于A，或无约束。
• 将利益相关者的偏好表示为有序对 (x, x') ∈ Cu，表示x'应被同等或更优对待于x。
• 采用带公平性违规阈值γ和权衡参数η的约束优化框架，以平衡准确率与公平性。
• 采用基于投影梯度下降的学习启发式方法，并通过Oracle访问求解约束学习问题。
• 应用基于VC维的泛化界，以确保准确率与公平性统计可靠性。
• 通过联合优化实现主观约束与标准公平性概念（如等机会）的结合。

实验结果

研究问题

• RQ1 如何在不依赖预定义数学定义的前提下，从非技术利益相关者处有意义地获取公平性？
• RQ2 算法能否在主观公平性约束下高效学习准确模型，同时确保收敛性和泛化能力？
• RQ3 个体在公平性感知上的差异如何影响模型准确率与公平性之间的权衡？
• RQ4 主观公平性偏好在多大程度上与标准统计公平性度量（如相等假阳性率）一致？

主要发现

• 该算法在实践中收敛迅速，典型情况下在1,000次迭代内即可完成收敛。
• 主观公平性约束的难度存在显著差异，部分受试者表现出接近线性的Pareto曲线，而另一些受试者则可在极小准确率损失下实现大幅公平性提升。
• 仅约束数量解释了在γ = 0.3时模型误差约69%的方差，表明约束内容与结构比数量更为重要。
• 涉及真实标签不同的配对的约束与误差的相关性较弱（0.489），低于总约束数量，表明约束性质（而非数量）是决定难度的关键因素。
• 43名受试者提供的集体约束产生最坏情况下的Pareto曲线，但仅约25%的约束导致了大部分公平性成本，表明少数约束主导了模型难度。
• 主观公平性与不同种族群体间假阳性率差异的减少呈中等程度相关（例如，高加索人与非裔美国人之间），但与其他种族群体配对的相关性较弱。