[论文解读] Bias, Fairness, and Accountability with AI and ML Algorithms

Nengfeng Zhou, Zach Zhang+4 more|arXiv (Cornell University)|May 13, 2021

Ethics and Social Impacts of AI参考文献 47被引用 9

一句话总结

本文对人工智能与机器学习算法中的偏见、公平性与问责制进行了全面综述，分析了数据偏见的来源、算法不公平性的类型以及公平性度量指标。文章回顾了模型生命周期中去偏技术，并指出现有公平性度量的局限性，提出了一套结构化的框架以应对机器学习系统中的伦理挑战。

ABSTRACT

The advent of AI and ML algorithms has led to opportunities as well as challenges. In this paper, we provide an overview of bias and fairness issues that arise with the use of ML algorithms. We describe the types and sources of data bias, and discuss the nature of algorithmic unfairness. This is followed by a review of fairness metrics in the literature, discussion of their limitations, and a description of de-biasing (or mitigation) techniques in the model life cycle.

研究动机与目标

• 系统分析机器学习系统中数据偏见的来源与类型。
• 考察实际部署的机器学习模型中算法不公平性的本质与表现形式。
• 回顾并批判性分析文献中现有的公平性度量指标，识别其局限性。
• 探索从数据预处理到模型推理的整个机器学习生命周期中的去偏技术。
• 为提升人工智能系统中公平性与问责制提供结构化框架。

提出的方法

• 基于数据收集与标注流程，将数据偏见分类为表示性、测量与程序性三类。
• 利用现实世界案例研究，将算法不公平性分类为个体、群体与社会层面的差异。
• 调查公平性度量指标，如人口均等性、机会均等性与均等化奇偶性，并对其假设与局限性进行批判性评估。
• 映射机器学习流水线中的去偏技术，包括预处理（如重加权、对抗性去偏）、在处理（如优化中的公平性约束）与后处理（如阈值调整）。
• 分析缓解策略中公平性、准确率与其他模型性能指标之间的权衡。
• 提供公平性作为多维、情境依赖属性的全面视角，强调其需要跨学科考量。

实验结果

研究问题

• RQ1 哪些是导致机器学习模型不公平性的主要数据偏见来源与类型？
• RQ2 不同公平性度量在实践中表现如何，其固有局限性是什么？
• RQ3 在机器学习生命周期的不同阶段，哪些去偏技术最为有效？
• RQ4 在现实应用中，如何有意义地平衡公平性与模型准确率及实用性？
• RQ5 哪些系统性与技术性挑战阻碍了人工智能系统的问责制与透明度？

主要发现

• 数据偏见源于代表性不足的采样、测量误差以及有缺陷的数据收集程序，对模型结果产生显著影响。
• 当模型放大训练数据中既存的历史偏见时，算法不公平性往往显现，尤其在招聘与信贷等高风险领域更为明显。
• 常见的公平性度量指标如人口均等性与机会均等性具有情境敏感性，可能彼此冲突，或与模型准确率相悖。
• 去偏技术虽具前景，但通常涉及公平性、准确率与公平性标准之间的权衡，尚无普适最优解。
• 后处理方法如阈值调整可在不重新训练的情况下提升公平性，但在敏感应用中可能降低模型实用性。
• 本文结论认为，公平性并非一次性修复问题，而需持续监控、情境感知设计与跨学科协作。