[论文解读] Bias in Data-driven AI Systems -- An Introductory Survey

Eirini Ntoutsi, Pavlos Fafalios+21 more|arXiv (Cornell University)|Jan 14, 2020

Ethics and Social Impacts of AI参考文献 86被引用 21

一句话总结

本综述对数据驱动型人工智能系统中的偏见提供了全面且跨学科的概述，将方法分类为理解、缓解和应对偏见。它将技术解决方案与法律及伦理框架相结合，强调通过预处理、训练中处理和事后处理技术实现公平意识的人工智能设计，同时指出纯技术修复的局限性，并强调法律与社会协作的必要性。

ABSTRACT

AI-based systems are widely employed nowadays to make decisions that have far-reaching impacts on individuals and society. Their decisions might affect everyone, everywhere and anytime, entailing concerns about potential human rights issues. Therefore, it is necessary to move beyond traditional AI algorithms optimized for predictive performance and embed ethical and legal principles in their design, training and deployment to ensure social good while still benefiting from the huge potential of the AI technology. The goal of this survey is to provide a broad multi-disciplinary overview of the area of bias in AI systems, focusing on technical challenges and solutions as well as to suggest new research directions towards approaches well-grounded in a legal frame. In this survey, we focus on data-driven AI, as a large part of AI is powered nowadays by (big) data and powerful Machine Learning (ML) algorithms. If otherwise not specified, we use the general term bias to describe problems related to the gathering or processing of data that might result in prejudiced decisions on the bases of demographic features like race, sex, etc.

研究动机与目标

• 提供关于数据驱动型人工智能系统中偏见的广泛、跨学科概述，整合技术、伦理与法律视角。
• 识别并分类用于理解、缓解和应对人工智能决策中偏见的技术方法。
• 考察人工智能公平性的法律基础，特别是欧盟监管背景下的情况，并指出当前立法中的空白。
• 强调仅靠技术解决方案的局限性，并倡导技术专家、法律专家与社会之间的跨学科合作。
• 引导未来研究朝向伦理基础坚实、符合法律规范且对社会负责的人工智能系统发展。

提出的方法

• 将偏见缓解划分为三个阶段：预处理（在训练数据中纠正偏见）、训练中处理（公平意识学习算法）和事后处理（调整模型输出）。
• 回顾公平性的正式定义，包括人口统计均等、机会均等和等化奇偶性，以明确技术与伦理之间的权衡。
• 通过案例研究（如COMPAS系统中累犯预测的种族偏见，以及Google广告中性别偏见在职位广告中的体现）说明偏见在现实中的表现。
• 分析新兴技术如基于GAN的合成数据生成在公平性方面的应用，同时警惕其在代表性不足和偏见放大方面的风险。
• 提出减少开发团队认知偏见的策略，例如提升团队多样性，并通过逆向工程实现算法透明化。
• 回顾法律与监管发展，包括欧盟《可信人工智能伦理指南》和ISO 8000数据质量标准，以评估其在人工智能公平性中的相关性。

实验结果

研究问题

• RQ1 偏见通过何种途径进入数据驱动型人工智能系统？训练数据和模型预测中的不公平主要来源是什么？
• RQ2 在人工智能生命周期的不同阶段（预处理、训练中处理、事后处理）中，存在哪些技术方法用于检测、度量和缓解偏见？
• RQ3 人工智能的公平性如何在法律与伦理层面建立基础？法规与标准在塑造负责任的人工智能设计中发挥什么作用？
• RQ4 技术解决方案在多大程度上能够独立解决系统性社会偏见？当前公平意识机器学习方法存在哪些局限性？
• RQ5 在使用GAN及其他生成模型生成合成数据时，确保代表性和公平性的关键挑战是什么？

主要发现

• 人工智能系统中的偏见通常源于历史与社会不公，这些不公在数据收集与模型训练过程中被放大，如COMPAS与Google广告案例所示。
• 技术公平性方法——如预处理加权重校正、训练中对抗去偏、事后阈值调整——可减少人口差异，但涉及公平性与预测性能之间的权衡。
• 利用生成对抗网络（GAN）生成合成公平数据具有潜力，但如果训练数据本身存在偏见，则可能加剧或延续代表性不足的问题。
• 开发团队中的认知偏见，特别是特权群体对身份类别的认知盲区，显著导致人工智能系统中偏见的产生。
• 当前欧盟的法律框架（如《可信人工智能伦理指南》和《人工智能法案》草案）仍较为笼统，缺乏对算法公平性的强制性标准，凸显出需要更具体的立法。
• 欧盟成员国之间尚未就算法公平性法规达成共识，有效的立法需要法律专家与技术研究人员的紧密协作。