[论文解读] Bias and unfairness in machine learning models: a systematic literature review

Tiago Palma Pagano, Rafael Bessa Loureiro+10 more|arXiv (Cornell University)|Feb 16, 2022

Ethics and Social Impacts of AI被引用 15

一句话总结

本篇系统性文献回顾分析了2017至2022年间机器学习模型中的偏见与不公平现象，识别出关键的公平性度量指标、检测与缓解技术，以及AIF360、FairLearn和Aequitas等工具。研究揭示了缺乏标准化的度量指标与方法，强调了需根据上下文进行公平性评估，并提升黑箱模型的透明度。

ABSTRACT

One of the difficulties of artificial intelligence is to ensure that model decisions are fair and free of bias. In research, datasets, metrics, techniques, and tools are applied to detect and mitigate algorithmic unfairness and bias. This study aims to examine existing knowledge on bias and unfairness in Machine Learning models, identifying mitigation methods, fairness metrics, and supporting tools. A Systematic Literature Review found 40 eligible articles published between 2017 and 2022 in the Scopus, IEEE Xplore, Web of Science, and Google Scholar knowledge bases. The results show numerous bias and unfairness detection and mitigation approaches for ML technologies, with clearly defined metrics in the literature, and varied metrics can be highlighted. We recommend further research to define the techniques and metrics that should be employed in each case to standardize and ensure the impartiality of the machine learning model, thus, allowing the most appropriate metric to detect bias and unfairness in a given context.

研究动机与目标

• 通过系统性文献回顾（SLR）与文献计量分析，考察2017至2022年关于机器学习模型中偏见与不公平现象的最新研究。
• 识别并分类近期机器学习研究中使用的公平性度量指标、检测技术、缓解策略及支持性工具。
• 评估偏见检测与缓解技术的最新进展，特别关注二元分类与多分类模型中的数据集、工具与公平性度量指标。
• 突出在标准化、上下文感知公平性评估以及可解释性方面的研究空白，尤其针对黑箱模型。
• 基于模型架构与敏感属性，为未来选择适当的公平性度量指标与技术提供建议。

提出的方法

• 使用RSL方法在四个学术数据库（Scopus、IEEE Xplore、Web of Science和Google Scholar）中开展系统性文献回顾（SLR）。
• 根据预设的纳入与排除标准，筛选出2017至2022年间发表的45篇合格文献。
• 进行文献计量分析，以描绘公平性研究趋势，包括发表数量、关键工具、数据集与公平性度量指标。
• 对公平性度量指标（如平等机会、平等机会率、预测一致性）进行分类，对缓解技术（预处理、训练中处理、后处理）进行分类，对工具（AIF360、FairLearn、Aequitas、Responsible AI）进行分类。
• 分析敏感属性在公平性评估中的作用，并评估模型决策过程中透明度与可解释性。
• 评估不同数据集与模型类型下公平性度量结果的一致性，识别出偏见检测中的上下文依赖性差异。

实验结果

研究问题

• RQ1 在近期关于偏见与不公平现象的机器学习研究中，最常使用的公平性度量指标、检测技术与缓解策略是什么？
• RQ2 在偏见与公平性研究中最常使用的工具与数据集有哪些？它们如何支持检测与缓解？
• RQ3 公平性度量指标在不同模型架构与敏感属性之间如何变化？这对上下文感知公平性评估有何影响？
• RQ4 在公平性评估方面，主要的研究空白是什么，特别是针对黑箱模型与可解释性？
• RQ5 在公平性度量指标的选择方面，标准化程度如何？哪些因素会影响其在不同应用场景下的适用性？

主要发现

• 广泛使用了多种公平性度量指标，如平等机会（EO）、平等机会率（EOO）与预测一致性（PD），但无单一指标被普遍采纳，导致研究间偏见检测结果不一致。
• AIF360、FairLearn、Aequitas与TensorFlow Responsible AI等工具被广泛用于公平性评估，但FairLearn不支持EOO，表明存在工具特定的局限性。
• 预处理、训练中处理与后处理缓解技术均被采用，其中敏感属性正则化与损失函数调整等训练中处理方法正日益普及。
• 尽管已有大量研究，但尚未对公平性度量指标或缓解技术进行全面的正式比较，导致在特定情境下选择最适当方法时存在模糊性。
• 黑箱模型在公平性研究中仍缺乏足够关注，其可解释性与透明度支持远低于白箱模型。
• 公平性度量指标的结果在不同数据集间存在差异，表明偏见的表现形式因数据上下文与敏感属性定义而异，凸显了开展上下文感知公平性评估的必要性。