[论文解读] "Fairness in AI and Its Long-Term Implications on Society"

Ondrej Bohdal, Timothy M. Hospedales+2 more|arXiv (Cornell University)|Apr 16, 2023

Ethics and Social Impacts of AI被引用 3

一句话总结

本文研究了有偏见的AI系统如何通过数据和决策循环，随时间推移不断自我强化，加剧社会不公。论文提出了迭代偏见放大科学、合成公平数据集以及适应性政策框架，以减轻系统性不公平和社情动荡的长期风险。

ABSTRACT

Successful deployment of artificial intelligence (AI) in various settings has led to numerous positive outcomes for individuals and society. However, AI systems have also been shown to harm parts of the population due to biased predictions. AI fairness focuses on mitigating such biases to ensure AI decision making is not discriminatory towards certain groups. We take a closer look at AI fairness and analyze how lack of AI fairness can lead to deepening of biases over time and act as a social stressor. More specifically, we discuss how biased models can lead to more negative real-world outcomes for certain groups, which may then become more prevalent by deploying new AI models trained on increasingly biased data, resulting in a feedback loop. If the issues persist, they could be reinforced by interactions with other risks and have severe implications on society in the form of social unrest. We examine current strategies for improving AI fairness, assess their limitations in terms of real-world deployment, and explore potential paths forward to ensure we reap AI's benefits without causing society's collapse.

研究动机与目标

• 分析有偏见的AI模型如何通过反馈回路随时间持续加剧和放大社会不公。
• 研究不公平AI的长期社会后果，包括系统性边缘化和潜在的社会动荡。
• 评估当前的公平性缓解策略，并识别其在现实部署中的局限性。
• 提出可操作的、大规模的干预措施，如合成数据集和适应性政策框架，以防止偏见的累积性放大。

提出的方法

• 利用基于代理的建模方法，建立迭代偏见放大科学，以模拟AI决策与数据收集之间的长期反馈。
• 提出构建大规模、基础性的合成数据集，旨在无偏见，用于预训练公平的AI模型。
• 倡导由政府主导、机构支持的举措，资助并设计具有公共利益的合成数据集。
• 提出政策指南，强制要求算法透明、人工介入监督以及对已部署AI系统的持续监控。
• 使用现实世界案例研究（例如招聘、信贷、刑事司法）说明在高风险领域中偏见放大的现象。
• 整合AI安全、风险分析和社会科学的洞见，将公平性视为一种系统性、长期的社会风险。

实验结果

研究问题

• RQ1 在高风险领域中，有偏见的AI决策如何导致数据日益有偏，从而形成随时间推移不断放大不公的反馈回路？
• RQ2 未解决的AI偏见的长期社会后果是什么，特别是在系统性边缘化和社会动荡方面？
• RQ3 为何当前的公平性缓解技术在现实部署中难以有效扩展？
• RQ4 如何设计并部署合成数据集，以大规模预训练公平的AI模型？
• RQ5 需要哪些政策和制度机制，以确保对AI公平性的持续监控和适应性治理？

主要发现

• 有偏见的AI模型在部署过程中可能放大既有的社会偏见，导致其产生的歧视性结果比训练数据中的更严重。
• 一种反馈回路由此形成：有偏见的决策产生有偏见的数据，这些数据又用于训练更加有偏见的未来模型，从而加剧系统性不公。
• 当前的公平性干预措施往往因成本过高、缺乏可扩展性以及在部署后偏见检测延迟而效果不足。
• 合成数据集为预训练公平模型提供了有前景但尚未充分开发的路径，尽管其需要大量制度投资和跨部门合作。
• 强制要求透明度、人工监督和持续监控的政策框架，对于在部署后检测和纠正偏见至关重要。
• 若缺乏协调一致的大规模干预，仅靠提升AI公平性可能无法防止长期社会压力，如抗议活动和制度衰败。