[论文解读] Average Individual Fairness: Algorithms, Generalization and Experiments

Michael Kearns, Aaron Roth+1 more|arXiv (Cornell University)|May 25, 2019

Ethics and Social Impacts of AI参考文献 15被引用 27

一句话总结

本文提出了平均个体公平性（AIF），这是一种新颖的公平性框架，通过在分类任务分布上取平均，而非在受保护群体上取平均，来确保个体之间的分类错误率近似相等。该框架提出了一种Oracle高效算法（AIF-Learn），利用标准学习启发式方法，证明了对新个体和新任务的泛化能力，并在合成数据和真实世界数据上实证验证了其有效性。

ABSTRACT

We propose a new family of fairness definitions for classification problems that combine some of the best properties of both statistical and individual notions of fairness. We posit not only a distribution over individuals, but also a distribution over (or collection of) classification tasks. We then ask that standard statistics (such as error or false positive/negative rates) be (approximately) equalized across individuals, where the rate is defined as an expectation over the classification tasks. Because we are no longer averaging over coarse groups (such as race or gender), this is a semantically meaningful individual-level constraint. Given a sample of individuals and classification problems, we design an oracle-efficient algorithm (i.e. one that is given access to any standard, fairness-free learning heuristic) for the fair empirical risk minimization task. We also show that given sufficiently many samples, the ERM solution generalizes in two directions: both to new individuals, and to new classification tasks, drawn from their corresponding distributions. Finally we implement our algorithm and empirically verify its effectiveness.

研究动机与目标

• 解决统计公平性的语义薄弱问题，后者在受保护群体上取平均，对个体层面的保护有限。
• 克服个体公平性在部署中的障碍，后者对公平性度量或数据分布施加了强可实现性假设。
• 设计一种公平性定义，提供强个体层面语义，而无需依赖预定义的受保护群体或强假设。
• 设计一种实用的、Oracle高效的算法，可与标准的、无公平性意识的学习启发式方法集成。
• 建立AIF解决方案在新个体和新分类任务上的理论泛化保证。

提出的方法

• 将平均个体公平性（AIF）定义为一种公平性约束，其中错误率在分类任务的分布上取平均，从而在不依赖受保护群体的情况下确保个体层面的公平性。
• 将公平的经验风险最小化问题形式化为学习者与公平性强制对手之间的双人博弈，通过约化利用标准学习Oracle。
• 提出AIF-Learn算法，通过使用公平性Oracle进行迭代优化，计算学习者对公平性约束的最佳响应（BEST）。
• 引入一个泛化框架，证明在足够采样条件下，AIF解决方案可泛化至未见过的个体和未见过的分类任务。
• 使用Chernoff-Hoeffding不等式控制经验公平性约束中的估计误差，确保对采样波动的鲁棒性。
• 将框架扩展至假阳性率公平性（FPAIF），并提供相应的算法与泛化定理。

实验结果

研究问题

• RQ1 能否设计一种公平性定义，使其在不依赖受保护群体或强可实现性假设的情况下，提供强个体层面语义？
• RQ2 如何设计一种学习算法，使其在保持效率并与标准学习Oracle兼容的同时满足公平性约束？
• RQ3 AIF解决方案是否能泛化至从其各自分布中抽取的新个体和新分类任务？
• RQ4 AIF框架能否在合成数据和真实世界数据上通过实证验证，证明其在公平性-准确率权衡上优于基线方法？
• RQ5 在AIF框架中，公平性违规、样本复杂度与泛化误差之间的理论关系是什么？

主要发现

• AIF框架通过在分类任务分布上平均错误率，成功实现了个体层面的公平性，避免了基于群体的公平性定义的缺陷。
• 在合成数据上，AIF-Learn算法在约1,000次迭代（50,000次Oracle调用）内收敛，表明其在真实世界场景中具有实际收敛性。
• 在合成数据上，AIF-Learn显著优于将误差最优模型与随机分类混合的基线方法，在公平性-准确率权衡上表现更优。
• 理论分析证明，在足够采样条件下，AIF解决方案以高概率泛化至新个体和新分类任务。
• 通过浓度不等式（Chernoff-Hoeffding）推导出泛化界，表明公平性约束中的估计误差可高概率控制。
• 该框架可自然扩展至假阳性率公平性（FPAIF），并具备相应的算法与泛化保证，展现出广泛适用性。