[论文解读] Beyond Fairness Metrics: Roadblocks and Challenges for Ethical AI in Practice

Jiahao Chen, Victor Storchan+1 more|arXiv (Cornell University)|Aug 11, 2021

Ethics and Social Impacts of AI参考文献 49被引用 6

一句话总结

本文认为，实践中的伦理AI不仅受到技术公平性度量的限制，还受到系统性运营、监管和组织挑战的阻碍，例如法规不一致、利益冲突、数据质量差以及可审计性不足。文章呼吁采用全面、情境感知的伦理AI框架，超越公平性度量，以应对现实世界部署中的复杂性。

ABSTRACT

We review practical challenges in building and deploying ethical AI at the scale of contemporary industrial and societal uses. Apart from the purely technical concerns that are the usual focus of academic research, the operational challenges of inconsistent regulatory pressures, conflicting business goals, data quality issues, development processes, systems integration practices, and the scale of deployment all conspire to create new ethical risks. Such ethical concerns arising from these practical considerations are not adequately addressed by existing research results. We argue that a holistic consideration of ethics in the development and deployment of AI systems is necessary for building ethical AI in practice, and exhort researchers to consider the full operational contexts of AI systems when assessing ethical risks.

研究动机与目标

• 识别并分析在工业和公共应用中大规模部署伦理AI时所面临的非技术性、操作性挑战。
• 强调监管滞后、相互冲突的商业目标以及数据质量差如何削弱现有公平性度量和伦理准则的有效性。
• 主张从狭隘的技术公平性度量转向一种全面、情境感知的AI伦理方法，涵盖组织、法律和社会维度。
• 强调研究人员在评估AI系统伦理风险时，必须考虑算法设计之外的完整操作背景。
• 呼吁开展关注AI部署实际现实的研究，包括在复杂、大规模系统中实现可审计性、透明度和问责制。

提出的方法

• 对跨行业的现实AI部署挑战进行系统性综述，重点关注监管、组织和非技术性障碍。
• 通过金融、医疗和公共部门工业AI应用的案例分析，识别关键障碍。
• 分析监管框架（如GDPR、CCPA、公平贷款法）及其与快速AI创新和伦理问责之间的错配。
• 考察组织动态，包括缺乏内部AI审计流程、保密文化以及领导层的群体思维。
• 探讨在AI决策和伦理设计中实现多元代表性的作用，借鉴跨文化、跨地理的伦理差异。
• 提出一种整合法律合规、组织问责和利益相关者包容性的伦理AI框架，超越算法公平性。

实验结果

研究问题

• RQ1 监管不一致和立法滞后如何阻碍高风险领域AI的伦理部署？
• RQ2 竞争性商业目标和组织保密性在多大程度上破坏了伦理AI的开发与审计？
• RQ3 数据质量和模型开发流程在多大程度上导致了现实世界AI系统中的伦理风险？
• RQ4 尽管可解释性和公平性度量有所进步，为何在大规模、集成化的AI系统中伦理问题的可发现性仍受损害？
• RQ5 如何在AI设计和治理过程中有意义地纳入地理和人口层面的多元伦理视角？

主要发现

• GDPR和CCPA等监管框架虽推进了透明度和可解释性，但因受保护类别的定义模糊和执法困难，仍不足以确保问责性。
• AI监管多为被动反应型，演进缓慢，例如美国公平贷款法规在颁布数十年后仍在现代化进程中，导致创新与合规之间存在鸿沟。
• 竞争性商业目标——如竞争优势、知识产权保护和责任规避——常导致保密和抵制审计，从而削弱伦理监督。
• 数据质量差和不一致的数据治理实践是伦理风险的重要成因，尤其在信贷评分和招聘等高风险应用中。
• 将AI整合到现有业务流程的复杂性限制了伦理问题的可发现性，因为系统极少完全自主，而是涉及多层人工监督。
• 工业环境中普遍缺乏内部AI审计和伦理决策流程，增加了伦理包装和领导层群体思维的风险。