[论文解读] Data, Power and Bias in Artificial Intelligence

Susan Leavy, Barry O’Sullivan+1 more|arXiv (Cornell University)|Jul 28, 2020

Ethics and Social Impacts of AI参考文献 17被引用 25

一句话总结

本文认为，由于数据收集具有政治和意识形态性质，人工智能中的偏见是不可避免的，并提出将批判性种族理论、女性主义和数据正义融入人工智能开发。研究证明，人工智能的公平性具有情境依赖性，存在多种互不相容的公平定义（如校准、预测一致性和平等机会），导致权衡不可避免，如COMPAS再犯预测算法案例研究所示。

ABSTRACT

Artificial Intelligence has the potential to exacerbate societal bias and set back decades of advances in equal rights and civil liberty. Data used to train machine learning algorithms may capture social injustices, inequality or discriminatory attitudes that may be learned and perpetuated in society. Attempts to address this issue are rapidly emerging from different perspectives involving technical solutions, social justice and data governance measures. While each of these approaches are essential to the development of a comprehensive solution, often discourse associated with each seems disparate. This paper reviews ongoing work to ensure data justice, fairness and bias mitigation in AI systems from different domains exploring the interrelated dynamics of each and examining whether the inevitability of bias in AI training data may in fact be used for social good. We highlight the complexity associated with defining policies for dealing with bias. We also consider technical challenges in addressing issues of societal bias.

研究动机与目标

• 考察历史与社会不公如何被编码进训练数据并由人工智能系统所延续。
• 挑战数据与机器学习中客观性的神话，主张数据整理本质上具有政治性。
• 研究人工智能中多种公平性定义的不相容性，特别是在刑事司法等高风险系统中的表现。
• 倡导将批判性种族理论、女性主义和社会正义视角融入人工智能设计与数据整理过程。
• 强调受影响社区必须参与数据解构与系统设计，以确保人工智能的伦理化。

提出的方法

• 分析COMPAS等现实世界人工智能系统，评估其在多个标准（校准、预测一致性、平等机会）下的公平性。
• 应用Kleinberg等人（2017）提出的正式公平性定义，量化COMPAS数据集中公平性度量之间的权衡。
• 通过统计分析不同种族群体的再犯率与预测误差，比较过高与过低预测的情况。
• 回顾技术缓解策略，如数据重加权、重采样以及词嵌入去偏，以解决训练数据中的偏见。
• 提出将偏见意识融入学习作为带公平性约束的优化问题，将伦理权衡整合进模型训练过程。
• 借鉴批判理论框架（女性主义、批判性种族理论），将数据整理重新定义为政治行为，而非中立的技术过程。

实验结果

研究问题

• RQ1 为何人工智能数据与训练过程中的客观性本质上无法实现？
• RQ2 人工智能中不同的公平性定义（如校准、预测一致性、平等机会）为何相互冲突？
• RQ3 技术解决方案在多大程度上能缓解人工智能中的社会偏见，尤其是在数据反映历史不公的情况下？
• RQ4 女性主义与批判性种族理论等批判理论在重新定义伦理数据整理与人工智能系统设计中发挥何种作用？
• RQ5 如何让边缘化社区在语言数据解构与公平性评估中发挥实质性参与？

主要发现

• COMPAS算法在不同种族群体中具有良好的校准性（63%的黑人被告和59.1%的白人被告被分类为高风险），满足了一项公平性标准。
• 尽管具备校准性，该系统仍表现出显著的种族偏见：47%的黑人被告被错误预测会再犯，而白人被告仅为24%。
• 黑人被告被错误分类为高风险的比例更高（805/1714 = 47%），高于白人被告（349/1488 = 24%），表明违反了预测一致性。
• 被错误标记为低风险的再犯者中，黑人比例更高（28%），高于白人（48%），表明平等机会未能实现。
• 研究表明，在一般条件下，校准、预测一致性和平等机会等公平性标准互不相容，导致权衡不可避免。
• 本文结论认为，若不进行权衡，彻底消除人工智能中的偏见在数学上是不可能的，而伦理人工智能需要超越技术修复的政治与社会框架。