[论文解读] I Need Your Advice... Human Perceptions of Robot Moral Advising Behaviors

Nichole D. Starr, Bertram F. Malle+1 more|arXiv (Cornell University)|Apr 14, 2021

Psychology of Moral and Emotional Judgment被引用 4

一句话总结

本研究探讨了人类对机器人道德建议的感知如何因机器人建议优先考虑整体利益而非个体生命而异。研究发现，当建议与被建议者个人选择相冲突时，若机器人建议优先考虑整体利益，人类和机器人仍会被感知得更积极，凸显了在人机交互中设计伦理对齐自主代理的关键原则。

ABSTRACT

Due to their unique persuasive power, language-capable robots must be able to both act in line with human moral norms and clearly and appropriately communicate those norms. These requirements are complicated by the possibility that humans may ascribe blame differently to humans and robots. In this work, we explore how robots should communicate in moral advising scenarios, in which the norms they are expected to follow (in a moral dilemma scenario) may be different from those their advisees are expected to follow. Our results suggest that, in fact, both humans and robots are judged more positively when they provide the advice that favors the common good over an individual's life. These results raise critical new questions regarding people's moral responses to robots and the design of autonomous moral agents.

研究动机与目标

• 考察人们在机器人道德规范与被建议者自身规范可能存在差异的道德困境中，对机器人提供道德建议的感知方式。
• 调查当机器人建议符合整体利益时，即使该建议与人类直觉偏好相冲突，人类是否更倾向于正面评价机器人建议者。
• 探讨在道德决策情境中，人类与机器人之间责备归因差异的影响。
• 评估道德沟通在塑造自主代理可信度与亲和力感知方面的作用。
• 为设计具备伦理能力、能在人机交互情境中有效传达道德规范的机器人提供指导。

提出的方法

• 基于情景的实验研究，采用受电车难题启发的道德困境，参与者评估机器人与人类建议者。
• 操控建议者的建议内容（行动 vs. 不作为）与身份（机器人 vs. 人类），以评估感知差异。
• 通过标准化量表测量建议后的可信度、亲和力与责备程度。
• 分析不同建议者类型与建议类型下的反应，识别道德评价与社会归因的模式。
• 使用受控的、假设的情景，隔离建议者身份与建议内容对道德判断的影响。
• 收集并分析定性数据，以探究参与者对建议与建议者行为评价背后的原因。

实验结果

研究问题

• RQ1 人们对建议为牺牲个体生命以拯救五人这一整体利益优先的机器人建议者持何种看法？
• RQ2 在道德困境情境中，人们对机器人道德建议者的感知与对人类建议者的感知有何不同？
• RQ3 建议者与被建议者之间道德规范的一致性是否影响对可信度与亲和力的感知？
• RQ4 当建议者在道德困境中建议不作为或作为时，人类与机器人建议者在责备归因上是否存在差异？
• RQ5 道德沟通在塑造人类对自主代理在伦理决策情境中感知方面发挥何种作用？

主要发现

• 当建议牺牲一人以拯救五人时，即使该行为可能使人类被责备，机器人仍被感知得更积极。
• 无论是人类还是机器人建议者，当其建议符合整体利益时，均被评价得更正面，表明存在共享的道德评价标准。
• 参与者对机器人建议者在不作为时的责备程度高于对行动的责备，而这一模式在人类建议者中并不一致。
• 即使人类建议者本人可能回避此类行为，当其建议符合整体利益时，仍被认为更具亲和力与可信度。
• 结果表明，建议者与建议行为之间道德一致性可增强可信度感知，无论建议者身份如何。
• 人类与机器人之间责备模式的差异表明，机械式机器人可能被赋予不同的道德标准，尤其在不作为行为方面。