[论文解读] Hard Choices in Artificial Intelligence: Addressing Normative Uncertainty through Sociotechnical Commitments

Roel Dobbe, Thomas Krendl Gilbert+1 more|arXiv (Cornell University)|Nov 20, 2019

Ethics and Social Impacts of AI参考文献 3被引用 4

一句话总结

本文提出了一套社会技术承诺框架，通过将民主异议整合到人工智能开发中，以解决人工智能安全中的规范性不确定性。它应用Ruth Chang的直观可比性理论，识别设计、训练和部署过程中的价值困境，并概述了正式、实质性和话语性承诺，以确保利益相关者的问责制和人工智能系统中的民主审议。

ABSTRACT

As AI systems become prevalent in high stakes domains such as surveillance and healthcare, researchers now examine how to design and implement them in a safe manner. However, the potential harms caused by systems to stakeholders in complex social contexts and how to address these remains unclear. In this paper, we explain the inherent normative uncertainty in debates about the safety of AI systems. We then address this as a problem of vagueness by examining its place in the design, training, and deployment stages of AI system development. We adopt Ruth Chang's theory of intuitive comparability to illustrate the dilemmas that manifest at each stage. We then discuss how stakeholders can navigate these dilemmas by incorporating distinct forms of dissent into the development pipeline, drawing on Elizabeth Anderson's work on the epistemic powers of democratic institutions. We outline a framework of sociotechnical commitments to formal, substantive and discursive challenges that address normative uncertainty across stakeholders, and propose the cultivation of related virtues by those responsible for development.

研究动机与目标

• 解决人工智能安全中的规范性不确定性，特别是在监控和医疗保健等高风险领域。
• 识别诸如“安全”、“稳健性”和“弹性”等模糊概念如何导致利益相关者之间的不同解读。
• 提出一种结构化框架，将民主审议和异议整合到人工智能系统开发中。
• 形式化承诺，确保用户能够作为公民和消费者行使‘发声’和‘退出’的权利。
• 倡导将社会技术承诺整合到人工智能教育和专业实践中。

提出的方法

• 应用Ruth Chang的直观可比性理论，分析人工智能设计、训练和部署中的规范性困境。
• 将规范性不确定性分类为模糊性的一种形式，借鉴哲学模型：认识论主义、语义不确定性与不可比性。
• 提出三种社会技术承诺：正式承诺（制度结构）、实质性承诺（价值对齐）和话语性承诺（协商渠道）。
• 提出用户反馈和异议的机制，包括对数据使用的公开说明和表达关切的透明渠道。
• 将部署情境建模为基于市场的（消费者逻辑）或政治的（公民权利），要求明确承诺其中一种。
• 强调通过在系统设计中保留用户退出权和发声机制，实现公众问责和信任。

实验结果

研究问题

• RQ1 规范性不确定性在不同利益相关者视角下，如何在人工智能系统的设计、训练和部署中表现出来？
• RQ2 哪些哲学框架可以解释‘保护’、‘稳健性’和‘弹性’等核心安全概念的模糊性？
• RQ3 如何利用民主机构和认识论美德来解决人工智能开发中的价值冲突？
• RQ4 用户协议和数据政策在多大程度上反映了消费者逻辑或公民逻辑，这对问责制意味着什么？
• RQ5 社会技术承诺如何确保未被代表的次群体不会因系统规范中未表达的道德承诺而承担负担？

主要发现

• 人工智能安全中的规范性不确定性并非源于技术缺陷，而是源于安全、公平和弹性等价值观在社会语境中的固有模糊性。
• 直观可比性概念解释了为何利益相关者常常面临无法仅通过正式度量解决的不可通约价值权衡。
• 必须制度化正式、实质性和话语性社会技术承诺，以将民主审议嵌入人工智能开发流程。
• 保留‘发声’和‘退出’权利对于维护公众问责至关重要，尤其是在人工智能系统作为公共服务或监控工具部署时。
• Rekognition案例表明，用户协议可被解释为私人合同或公共承诺，从而导致不同的治理模式。
• 本文结论认为，民主异议并非程序性附加项，而是确保人工智能系统持续与不断演变的多元价值观保持一致的必要条件。