[论文解读] An architecture for ethical robots

Dieter Vanderelst, Alan Winfield|arXiv (Cornell University)|Sep 9, 2016

Social Robot Interaction and HRI参考文献 5被引用 5

一句话总结

本文提出了一种伦理层控制架构，使机器人能够基于预设的伦理规则，通过结果预测和基于规则的评估来评估并否决动作。该系统在人形机器人上实现以遵循阿西莫夫定律，在单一人场景中成功防止了伤害，但在双人冲突场景中揭示了对移动较慢个体的非预期优先化，凸显了对伦理AI系统进行验证的必要性。

ABSTRACT

Robots are becoming ever more autonomous. This expanding ability to take unsupervised decisions renders it imperative that mechanisms are in place to guarantee the safety of behaviours executed by the robot. Moreover, smart autonomous robots should be more than safe; they should also be explicitly ethical -- able to both choose and justify actions that prevent harm. Indeed, as the cognitive, perceptual and motor capabilities of robots expand, they will be expected to have an improved capacity for making moral judgements. We present a control architecture that supplements existing robot controllers. This so-called Ethical Layer ensures robots behave according to a predetermined set of ethical rules by predicting the outcomes of possible actions and evaluating the predicted outcomes against those rules. To validate the proposed architecture, we implement it on a humanoid robot so that it behaves according to Asimov's laws of robotics. In a series of four experiments, using a second humanoid robot as a proxy for the human, we demonstrate that the proposed Ethical Layer enables the robot to prevent the human from coming to harm.

研究动机与目标

• 开发一种控制架构，使自主机器人能够在执行前通过评估动作来实现伦理行为。
• 应对机器人自主性及与人类互动增加所带来的对其做出明确道德判断的日益增长的需求。
• 实现并实证测试一种系统，以在真实机器人行为中强制执行伦理规则，如阿西莫夫定律。
• 研究伦理决策系统中规则相互作用引发的非预期后果。
• 展示在现有机器人控制器中集成可验证伦理控制层的可行性。

提出的方法

• 伦理层作为监督模块集成在机器人控制器与执行器之间，与现有控制系统并行运行。
• 该架构包含四个组件：用于生成替代行为的生成模块，用于模拟动作结果的预测模块，用于将结果与伦理规则进行比较的评估模块，以及用于动作选择的解释模块。
• 系统通过模拟智能体轨迹来预测未来状态，并基于对危险的接近程度和预测结果，为每个动作计算一个伤害/收益得分（q_i,t）。
• 伦理规则被编码为对预测结果的约束，若动作违反规则（如导致人类受伤）则被拒绝。
• 该架构采用后果主义框架，即动作的可取性由预测的净结果决定。
• 通过将伦理层视为一个独立的、可测试的组件，支持验证，从而能够检测到如规则冲突等非预期行为。

实验结果

研究问题

• RQ1 机器人能否在执行前通过评估动作是否符合伦理规则，自主防止对人类造成伤害？
• RQ2 在多智能体场景中，伦理规则如何相互作用？简单的规则集是否可能引发非预期行为？
• RQ3 模块化的伦理控制层能否有效集成到现有的机器人控制架构中？
• RQ4 在动态、现实世界环境中，基于规则的伦理决策方法存在哪些局限性？
• RQ5 伦理层的行为在多大程度上可以被验证和确认，以防止有害结果的发生？

主要发现

• 在四次实验中，伦理层成功阻止了单一人类接近危险区域，证明了其有效的伤害预防能力。
• 当两人同时接近危险时，机器人优先保护了移动较慢的个体，这一选择基于最高的预测伤害得分（q_i,t），而非距离危险最近的个体。
• 该行为——优先拯救最慢的个体——未被研究人员预料到，且与直观的伦理预期相悖。
• 该冲突源于伦理层最大化单个动作的预期结果得分（q_i,t），导致优先级分配次优。
• 结果表明，即使在简单的伦理规则下，当在复杂场景中相互作用时，也可能产生非预期的、潜在不道德的结果。
• 本研究强调了对伦理AI系统进行形式化验证的必要性，以在部署前检测此类涌现行为。