[论文解读] An Introduction to Algorithmic Fairness

Hilde Weerts|arXiv (Cornell University)|May 12, 2021

Ethics and Social Impacts of AI参考文献 18被引用 5

一句话总结

本文介紹了算法公平性的核心概念，分析了机器学习系统如何通过分配不公、服务质量问题、刻板印象和污名化伤害等方式延续或加剧偏见。文章梳理了机器学习生命周期中各类偏见的来源，并倡导采用情境敏感的公平性定义以及在开发过程中主动实施缓解措施，以减少系统性伤害。

ABSTRACT

In recent years, there has been an increasing awareness of both the public and scientific community that algorithmic systems can reproduce, amplify, or even introduce unfairness in our societies. These lecture notes provide an introduction to some of the core concepts in algorithmic fairness research. We list different types of fairness-related harms, explain two main notions of algorithmic fairness, and map the biases that underlie these harms upon the machine learning development process.

研究动机与目标

• 为研究人员和从业者提供算法公平性的全面概述。
• 识别并分类机器学习系统中与公平性相关的伤害类型。
• 映射机器学习开发生命周期中偏见的来源。
• 强调公平性具有情境依赖性，需采用价值敏感的设计方法。
• 倡导在整个机器学习开发过程中主动实施偏见缓解措施。

提出的方法

• 将与公平性相关的伤害分类为四类：分配不公、服务质量问题、刻板印象和污名化。
• 引入算法公平性的两个主要概念：统计独立性与机会均等，同时承认其蕴含价值取向的本质。
• 映射从数据收集、特征工程、模型训练到利益相关者交互等机器学习流程各阶段的偏见来源。
• 分析反馈回路，如预测性警务中的强化反馈以及推荐系统中的流行度偏见。
• 使用现实世界案例（如亚马逊的简历筛选工具、面部识别偏见）说明偏见的传播过程。
• 提出利用仿真和系统动力学建模作为工具，以预测和评估反馈回路风险。

实验结果

研究问题

• RQ1 不同类型的与公平性相关的伤害——分配不公、服务质量问题、刻板印象和污名化——在机器学习系统中如何表现？
• RQ2 在机器学习生命周期的哪些关键阶段，偏见可能被引入或放大？
• RQ3 如预测性警务中的反馈回路如何持续并放大历史偏见？
• RQ4 为何算法系统中不存在单一的通用公平性定义？公平性应如何根据情境选择？
• RQ5 在端到端的机器学习开发过程中，可采用哪些策略来缓解偏见？

主要发现

• 即使未显式使用敏感属性，算法系统仍可能再现或放大社会偏见，如亚马逊简历筛选工具对女性相关术语的惩罚。
• 面部识别系统在深色皮肤女性中的错误率更高，这体现了因训练数据中代表性不足而导致的服务质量伤害。
• 预测性警务中的反馈回路可能产生自我实现的预言：某地区警力增加导致检测到的犯罪数量上升，从而强化了偏见的预测。
• 利益相关者解读偏见——如法官对某些群体的风险评分赋予更高权重——可能在模型预测之外引入额外的不公平性。
• 由于训练数据存在偏见，NLP和计算机视觉领域普遍存在刻板印象伤害，例如图像搜索结果将“CEO”与白人男性关联。
• 不存在适用于所有场景的统一公平性度量标准；不同的公平性标准反映了不同的伦理价值观，其选择必须基于具体情境并体现价值判断。