[论文解读] A Voting-Based System for Ethical Decision Making

Ritesh Noothigattu, Snehalkumar S. Gaikwad+5 more|arXiv (Cornell University)|Sep 20, 2017

Ethics and Social Impacts of AI被引用 19

一句话总结

本文提出了一种基于投票的系统，用于自动驾驶汽车中的伦理决策，通过从 Moral Machine 平台上的130万组两两比较中学习社会偏好。该系统利用计算社会选择方法，通过可处理的排列过程模型将个体偏好聚合为集体决策，即使在每位用户数据有限的情况下，也能实现高精度的伦理选择预测。

ABSTRACT

We present a general approach to automating ethical decisions, drawing on machine learning and computational social choice. In a nutshell, we propose to learn a model of societal preferences, and, when faced with a specific ethical dilemma at runtime, efficiently aggregate those preferences to identify a desirable choice. We provide a concrete algorithm that instantiates our approach; some of its crucial steps are informed by a new theory of swap-dominance efficient voting rules. Finally, we implement and evaluate a system for ethical decision making in the autonomous vehicle domain, using preference data collected from 1.3 million people through the Moral Machine website.

研究动机与目标

• 为解决AI中缺乏正式伦理原则的问题，通过聚合社会偏好作为实际替代方案。
• 开发一种可扩展的自动驾驶汽车伦理决策框架，基于真实世界的人类判断。
• 在技术与法律约束失效时，通过从大规模人类输入中推导集体偏好，实现实时伦理决策。
• 证明集体社会偏好可在缺乏普遍认同原则的情况下，作为伦理规范的可靠近似。

提出的方法

• 通过 Moral Machine 网站收集130万用户提供的两两伦理判断，反映多样化社会偏好。
• 使用广义随机效用模型（透明度模型）对个体偏好进行建模，支持连续和离散特征。
• 利用凸优化框架进行最大似然估计，将个体偏好模型汇总为单一集体模型。
• 在运行时对备选项的有限子集应用投票规则，聚合偏好。
• 采用交换占优高效投票规则理论，确保聚合过程的公平性与一致性。
• 使用真实世界数据验证该方法，即使每位用户平均比较次数较低（≈14），仍表现出高预测准确性。

实验结果

研究问题

• RQ1 当缺乏真实伦理原则时，是否可以可靠地聚合社会偏好，以指导自动驾驶汽车中的伦理决策？
• RQ2 如何高效建模与汇总大规模人类判断，以支持实时伦理决策？
• RQ3 哪些投票规则与聚合技术可确保基于多样化人类偏好的集体伦理决策中的公平性与一致性？
• RQ4 在每位用户仅有少量两两比较的情况下，单一集体模型在多大程度上能准确代表数百万名个体的偏好？
• RQ5 如何设计伦理决策系统，使其在整合未来正式伦理或法律原则时仍保持鲁棒性与可扩展性？

主要发现

• 系统在推断伦理偏好方面表现出高预测准确性，使用每位用户约14组两两比较训练的模型性能优异，归因于投票者参数分布的相关性。
• 使用K个透明度模型的混合（K > 1）可能提升准确性，但会增加计算复杂度。
• 实证结果表明，个体响应中的噪声在汇总与聚合过程中大部分被抵消，支持集体模型的鲁棒性。
• 该框架可在伦理或法律原则不可用时回退至社会共识，确保所有场景下均具备决策能力。
• 该方法具有模块化与可扩展性，可在未来无缝集成正式伦理或法律规则，而无需破坏核心决策流程。
• 该方法计算高效且可扩展，通过基于凸优化的学习过程，支持实时决策。