[论文解读] Logical Limitations to Machine Ethics with Consequences to Lethal Autonomous Weapons

Matthias Englert, Sandra Siebert+1 more|arXiv (Cornell University)|Nov 11, 2014

Computability, Logic, AI Algorithms参考文献 7被引用 4

一句话总结

本文运用数学逻辑与可计算性理论，证明在某些确定性伦理困境中，致命性自主武器无法可靠地做出道德上更优的决策，原因在于停机问题的不可判定性。研究证明，即使在道德上明显更优的选择中，AI 控制的系统在逻辑上也可能无法做出决定，从而质疑了机器伦理的可行性，并呼吁对设计与责任实施严格监管。

ABSTRACT

Lethal Autonomous Weapons promise to revolutionize warfare -- and raise a multitude of ethical and legal questions. It has thus been suggested to program values and principles of conduct (such as the Geneva Conventions) into the machines' control, thereby rendering them both physically and morally superior to human combatants. We employ mathematical logic and theoretical computer science to explore fundamental limitations to the moral behaviour of intelligent machines in a series of "Gedankenexperiments": Refining and sharpening variants of the Trolley Problem leads us to construct an (admittedly artificial but) fully deterministic situation where a robot is presented with two choices: one morally clearly preferable over the other -- yet, based on the undecidability of the Halting problem, it provably cannot decide algorithmically which one. Our considerations have surprising implications to the question of responsibility and liability for an autonomous system's actions and lead to specific technical recommendations.

研究动机与目标

• 探究自主武器是否能够被编程以在复杂伦理情境中做出道德上更优的决策。
• 识别出根本性的逻辑与计算限制，这些限制使得即使在道德正确选择被明确定义的情况下，AI 也无法做出伦理决策。
• 挑战通过形式逻辑将伦理原则（如《日内瓦公约》）嵌入自主武器系统的技术可行性。
• 提出监管与技术保障措施，以确保问责性，并防止致命自主系统产生不可追溯或不可验证的行为。

提出的方法

• 基于电车难题构建一系列逐步细化的伦理困境，最终形成一个完全确定性的场景。
• 应用可计算性理论与停机问题的不可判定性，证明在特定 AI 控制场景中，不存在任何算法能够确定道德上更优的行动。
• 使用形式化软件验证方法（如 ACL2、Coq、Isabelle）以确保 AI 系统满足其伦理规范。
• 提出强制性数据日志记录机制，采用非对称加密（如 4096 位 RSA）以确保日志防篡改且可验证，用于法医与法律问责。
• 提出一种基于智能水平、物理操作能力、传感器访问权限及人机控制机制的自主系统分类体系。
• 建议对 AI 系统实施型号认证与形式化验证，参照航空与医疗设备领域的标准（如 IEC 61508、CE/FCC）。

实验结果

研究问题

• RQ1 一个具有明确道德偏好的自主 AI 系统，是否可能因计算上的不可判定性而无法在两个行为之间做出选择？
• RQ2 在不违反可计算性基本限制的前提下，伦理原则（如战争法）在多大程度上可以被形式化编码进自主武器系统？
• RQ3 停机问题对致命性自主武器的道德主体性与责任归属有何影响？
• RQ4 当 AI 系统的决策过程在逻辑上不可判定时，如何确保其问责性与可追溯性？
• RQ5 需要何种监管与技术框架，以防止自主武器系统产生不可验证或不可问责的行为？

主要发现

• 基于图灵机的 AI 系统，由于停机问题的不可判定性，在完全确定性的伦理情境中，无法通过算法在两个道德上不同的选择之间做出决定。
• 即使某一行为在客观上明显且明确地更符合道德标准，系统在逻辑上仍可能无法识别该选择，导致机器伦理在这些情形下存在根本性局限。
• 使用 Coq 或 Isabelle 等证明助手进行形式化验证，是确保 AI 系统满足其伦理规范的必要手段，应作为强制性要求。
• 必须强制实施事件日志记录，并采用硬件保护的 4096 位 RSA 数字签名，以确保 AI 决策记录防篡改且可验证。
• 每个致命性自主系统必须被分配唯一 ID、指定法律保管人，并配备固定且可识别的标识，以实现可追溯性与问责性。
• 应建立基于四个维度（智能水平、物理交互能力、传感器访问权限、人机控制机制）的分类体系，并实施型号认证制度，以根据风险与复杂性对 AI 系统进行监管。