[论文解读] Fairness in Machine Learning: A Survey

Simon Caton, Christian Haas|arXiv (Cornell University)|Oct 4, 2020

Ethics and Social Impacts of AI被引用 129

一句话总结

这项综述为机器学习中的公平性提供入门级概览，将方法分为 pre-processing、in-processing、post-processing，并详细介绍指标、方法、工具包以及开放挑战。

ABSTRACT

As Machine Learning technologies become increasingly used in contexts that affect citizens, companies as well as researchers need to be confident that their application of these methods will not have unexpected social implications, such as bias towards gender, ethnicity, and/or people with disabilities. There is significant literature on approaches to mitigate bias and promote fairness, yet the area is complex and hard to penetrate for newcomers to the domain. This article seeks to provide an overview of the different schools of thought and approaches to mitigating (social) biases and increase fairness in the Machine Learning literature. It organises approaches into the widely accepted framework of pre-processing, in-processing, and post-processing methods, subcategorizing into a further 11 method areas. Although much of the literature emphasizes binary classification, a discussion of fairness in regression, recommender systems, unsupervised learning, and natural language processing is also provided along with a selection of currently available open source libraries. The article concludes by summarising open challenges articulated as four dilemmas for fairness research.

研究动机与目标

• 向读者介绍 ML 公平性的关键概念与历史。
• 总结并标准化公平性指标及其权衡。
• 提供一个二维的公平 ML 方法分类（pre-processing、in-processing、post-processing）并扩展到非二进制任务。
• 突出常用的工具包和实际考虑因素，包括法律与社会问责。
• 确定开放挑战和指导未来公平性研究的四个困境。

提出的方法

• 在一个统一干预框架内，将公平性技术分为 pre-processing、in-processing、post-processing。
• 使用统一记号整理并对比广泛的公平性指标（group、individual、counterfactual），并给出共同的记号。
• 讨论抽象的公平性标准（Independence、Separation、Sufficiency）及其不可能性结果。
• 回顾方法族（blinding、causal methods、sampling/subgroup analysis）及它们在不同 ML 阶段的适用性。
• 概述实际考虑因素，如数据代理、受保护变量，以及潜在的法律/可解释性影响。
• 总结可用的开源库并将当前研究方向映射到四个未来困境。

实验结果

研究问题

• RQ1 实现 ML 公平性的主要方法学类别有哪些，它们如何与数据和模型阶段（pre-, in-, post-processing）相关？
• RQ2 不同的公平性指标如何定义、解释，并在二进制和非二进制任务中与准确性进行权衡？
• RQ3 在实现公平结果时，因果、blinding、sampling 方法的作用与局限是什么？
• RQ4 在真实世界环境中部署公平 ML 的实际工具与开放挑战有哪些？

主要发现

• 公平性没有统一定义；多种指标捕捉不同的概念（统计性平等、等机会、校准等），存在固有的权衡。
• pre-processing、in-processing、post-processing 提供灵活但并非普遍可比的干预点，每种都有独特的可解释性与法律含义。
• 文献强调群体公平与个体公平之间的张力，许多“不可能性”结果在某些条件下显示目标不兼容。
• 因果、代理标识符、基于图的方法有助于识别偏见和代理变量，但需要大量的背景信息且计算成本可能很高。
• 越来越多的开源库支持公平 ML，但实际采用仍受数据质量、代理变量和动态数据移位等挑战。
• 研究者强调四个困境引导未来工作，聚焦于可访问性、问责性和社会影响。