[论文解读] An Axiomatic Theory of Provably-Fair Welfare-Centric Machine Learning

Cyrus Cousins|arXiv (Cornell University)|Apr 29, 2021

Ethics and Social Impacts of AI参考文献 44被引用 4

一句话总结

本文提出 malfare——一种基于福利理论的社会伤害度量——作为传统基于效用的福利在公平机器学习中的公理化替代方案。通过将公平学习建模为对群体风险值的 malfare 最小化，该研究建立了新的理论基础，证明了在温和条件下标准 PAC 学习器可被转换为公平-PAC 学习器，并为公平模型训练提供了统计与计算效率的保障。

ABSTRACT

We address an inherent difficulty in welfare-theoretic fair machine learning by proposing an equivalently axiomatically-justified alternative and studying the resulting computational and statistical learning questions. Welfare metrics quantify overall wellbeing across a population of one or more groups, and welfare-based objectives and constraints have recently been proposed to incentivize fair machine learning methods to produce satisfactory solutions that consider the diverse needs of multiple groups. Unfortunately, many machine-learning problems are more naturally cast as loss minimization tasks, rather than utility maximization, which complicates direct application of welfare-centric methods to fair machine learning. In this work, we define a complementary measure, termed malfare, measuring overall societal harm (rather than wellbeing), with axiomatic justification via the standard axioms of cardinal welfare. We then cast fair machine learning as malfare minimization over the risk values (expected losses) of each group. Surprisingly, the axioms of cardinal welfare (malfare) dictate that this is not equivalent to simply defining utility as negative loss. Building upon these concepts, we define fair-PAC (FPAC) learning, where an FPAC learner is an algorithm that learns an $\varepsilon$-$δ$ malfare-optimal model with bounded sample complexity, for any data distribution, and for any (axiomatically justified) malfare concept. Finally, we show broad conditions under which, with appropriate modifications, standard PAC-learners may be converted to FPAC learners. This places FPAC learning on firm theoretical ground, as it yields statistical and computational efficiency guarantees for many well-studied machine-learning models, and is also practically relevant, as it democratizes fair ML by providing concrete training algorithms and rigorous generalization guarantees for these models

研究动机与目标

• 为解决福利中心的公平性与机器学习中自然损失最小化范式之间的不匹配问题。
• 提出 malfare 作为公理化、基于福利的社会伤害度量，更好地契合风险最小化目标。
• 建立一个正式框架——公平-PAC 学习（fair-PAC learning），以实现公平机器学习中的统计与计算效率。
• 证明标准 PAC 学习器可在有界样本复杂度和泛化保障下被系统性地转化为公平-PAC 学习器。
• 表明 malfare 最小化在本质上比福利最大化更稳定、更易处理，尤其在非-Lipschitz 行为下表现更优。

提出的方法

• 将 malfare 定义为群体风险值的幂平均，源自对负效用（损失）应用基数福利公理。
• 利用标准基数福利公理对 malfare 提供公理化支持，同时针对风险最小化目标进行调整。
• 引入公平-PAC（FPAC）学习：对于任意数据分布，算法可在有界样本复杂度下学习一个 ε-δ malfare 最优模型。
• 应用经验 malfare 最小化原则，从有限样本中估计 malfare，并提供理论收敛保障。
• 利用一致收敛与覆盖论证，证明 FPAC 学习的计算与统计效率。
• 证明在温和条件下，基于凸优化的学习器可被高效地适配为 FPAC 学习器。

实验结果

研究问题

• RQ1 malfare 最小化是否等价于以 -loss 作为效用的福利函数最大化？
• RQ2 标准 PAC 学习器能否系统性地转换为具有有界样本复杂度的公平-PAC 学习器？
• RQ3 在可实现性与全知性设定下，malfare 最小化的统计与计算学习保障为何？
• RQ4 为何 malfare 最小化在公平学习中比福利最大化更具可处理性？
• RQ5 对于统一收敛性与 PAC 学习性不同的损失函数，全知性 FPAC 可学习性与 PAC 可学习性是否等价？

主要发现

• 由于公理结构与稳定性上的非等价性，malfare 最小化不等价于以效用 = -loss 的福利函数最大化。
• 公平-PAC 学习为所有数据分布下的 malfare 最优模型提供了有界样本复杂度与泛化保障。
• 理论分析表明，在可实现性设定下，FPAC 可学习性在样本复杂度上等价于 PAC 可学习性。
• malfare 函数表现出收缩性质（定理 2.6，第 3 项），确保了统一的样本复杂度界，而福利函数不具备此性质。
• 对于 p ∈ [0,1) 的福利函数（如纳什社会福利），其非 Lipschitz 连续性可能导致估计的样本复杂度无界。
• 当满足凸优化与覆盖条件时，FPAC 学习对许多广泛研究的模型具有计算可行性。