[论文解读] Empirical Risk Minimization under Fairness Constraints

Michele Donini, Luca Oneto+3 more|arXiv (Cornell University)|Feb 23, 2018

Ethics and Social Impacts of AI参考文献 42被引用 88

一句话总结

本文提出了公平经验风险最小化（FERM）框架，在一个公平性约束下训练分类器，使对敏感组之间的条件风险达到平等，并具备理论一致性保证以及实际的核方法/线性实现。

ABSTRACT

We address the problem of algorithmic fairness: ensuring that sensitive variables do not unfairly influence the outcome of a classifier. We present an approach based on empirical risk minimization, which incorporates a fairness constraint into the learning problem. It encourages the conditional risk of the learned classifier to be approximately constant with respect to the sensitive variable. We derive both risk and fairness bounds that support the statistical consistency of our approach. We specify our approach to kernel methods and observe that the fairness requirement implies an orthogonality constraint which can be easily added to these methods. We further observe that for linear models the constraint translates into a simple data preprocessing step. Experiments indicate that the method is empirically effective and performs favorably against state-of-the-art approaches.

研究动机与目标

• 动机并形式化一个公平性约束，使正类在敏感分组之间的条件风险达到平等。
• 开发一个公平经验风险最小化（FERM）框架，将该约束整合到ERM 中。
• 给出 FERM 的理论风险和公平性一致性界限。
• 展示公平性约束如何转化为核方法中的正交性约束（正交约束）以及线性数据预处理步骤。
• 展示在多数据集上与最先进的公平性方法相比的实证效果。

提出的方法

• 基于跨组正类风险差异定义一个 ε-公平性约束，并将其嵌入到 ERM 中，从而得到 Fair ERM（FERM）。
• 推导风险和公平性界限，以建立 FERM 的统计一致性，并讨论用于实际优化的凸松弛的代理方法。
• 专门化到核方法：将约束表示为 RKHS 内积界限，形成受约束的 Tikhonov 正则化目标，可通过标准的类似 SVM 的求解器求解。
• 证明对线性模型，ε-公平约束简化为一个数据预处理步骤，通过去除歧视方向来实现公平性。
• 给出凸代理 FERM 问题与原始非凸公平目标之间的理论联系，包括一个条件 (Δ̂) 用于界定与 EO 公平性的差距。
• 包括一个实际的验证程序以及一种新颖的超参数验证方法，以在准确率和 DEO（人口/平等机会衡量）之间取得平衡。

实验结果

研究问题

• RQ1 我们能否制定一个公平性约束，将类似等机会（Equal Opportunity）的公正性表述为跨组正类条件风险的界限？
• RQ2 将公平性约束嵌入到 ERM 中，是否在标准可学习性假设下产生统计一致的估计量？
• RQ3 如何在核方法和线性预处理步骤中高效实现公平性约束，以及这对凸性与优化有什么影响？
• RQ4 在何种条件下，带铰链损失/线性损失的凸代理能较好地近似非凸的公平 ERM 目标？
• RQ5 在基准数据集上，所提出的方法在准确性和公平性（DEO）方面与最先进的公平方法相比的实证表现如何？

主要发现

• FERM 在若干数据集上相比基线实现了具有竞争力的准确性，同时显著降低了 DEO。
• 理论结果（定理1）表明，在合适的 ε̂ 下，随着样本量增加，FERM 解在风险和公平性方面是一致的。
• 一个凸代理（铰链损失）提供可行的优化，同时在可验证条件（Δ̂）下保持与 EO 的接近一致。
• 在核化设置中，公平性约束变为 ε=0 的正交性约束，从而可以与标准的 SVM 求解器集成；在线性设置中，它相当于一个数据预处理步骤。
• 实证结果表明，在五个数据集中的四个上，Fair ERM 提升了公平性，在第五个数据集保持竞争力，在相似的准确率条件下通常能超越如 Hardt 和 Zafar 等最先进方法。
• 该方法可推广到如 Lasso 的线性模型，结合所提出的预处理时能保持稀疏性和公平性。