[论文解读] Is it morally acceptable for a system to lie to persuade me?

Marco Guerini, Fabio Pianesi+1 more|arXiv (Cornell University)|Apr 15, 2014

Psychology of Moral and Emotional Judgment参考文献 21被引用 3

一句话总结

本研究通过道德困境情景的实验，探究了说服性系统说谎或使用情感诉求以影响用户行为的道德可接受性。结果显示，基于真理条件的推理（论证有效性）显著提升了道德可接受性，而说服者身份（人类 vs. 机器）无显著影响，说谎行为则普遍被认为不可接受。

ABSTRACT

Given the fast rise of increasingly autonomous artificial agents and robots, a key acceptability criterion will be the possible moral implications of their actions. In particular, intelligent persuasive systems (systems designed to influence humans via communication) constitute a highly sensitive topic because of their intrinsically social nature. Still, ethical studies in this area are rare and tend to focus on the output of the required action. Instead, this work focuses on the persuasive acts themselves (e.g. "is it morally acceptable that a machine lies or appeals to the emotions of a person to persuade her, even if for a good end?"). Exploiting a behavioral approach, based on human assessment of moral dilemmas -- i.e. without any prior assumption of underlying ethical theories -- this paper reports on a set of experiments. These experiments address the type of persuader (human or machine), the strategies adopted (purely argumentative, appeal to positive emotions, appeal to negative emotions, lie) and the circumstances. Findings display no differences due to the agent, mild acceptability for persuasion and reveal that truth-conditional reasoning (i.e. argument validity) is a significant dimension affecting subjects' judgment. Some implications for the design of intelligent persuasive systems are discussed.

研究动机与目标

• 探究用户是否在道德上接受说服性系统通过说谎或使用情感诉求来影响行为。
• 评估说服者身份（人类 vs. 机器）对说服策略道德可接受性的影响。
• 探讨情境因素是否调节欺骗性或情感化说服的道德可接受性。
• 识别人类-计算机交互中说服行为道德判断的心理维度。
• 通过基于实证的人类道德评估，为自适应、智能说服系统的伦理设计提供依据。

提出的方法

• 改编道德困境范式以研究说服，向参与者呈现涉及不同说服策略的情景。
• 设计包含四种说服策略的实验情景：纯粹论证性策略、积极情绪诉求、消极情绪诉求，以及说谎。
• 采用行为实验方法收集人类对每种策略可接受性的道德判断，不预设先验伦理理论。
• 采用受控实验设计，比较人类与机器作为说服者在多种情景下的表现。
• 使用统计方法分析响应数据，识别影响道德可接受性的潜在维度，如真理条件推理和对说服的一般态度。
• 利用众包和情景化评估，收集在现实、具有社会相关性的语境中人们对道德判断的数据。

实验结果

研究问题

• RQ1 系统为说服用户而说谎在道德上是否可接受，与其他说服策略相比如何？
• RQ2 当由人类或机器执行时，说服策略的道德可接受性是否存在差异？
• RQ3 情感诉求（积极或消极）与论证性推理相比，在道德可接受性上如何？
• RQ4 情境因素在多大程度上调节人们对说服行为的道德判断？
• RQ5 人们在判断说服策略时，其道德判断背后的心理维度是什么？

主要发现

• 说服行为的整体道德可接受性较低，平均仅有23%的说服行为被认为可接受。
• 真理条件推理——特别是有效论证——显著提升了道德可接受性，在所有策略中排名最高。
• 说谎是最不可接受的策略，其可接受性相比论证性或情感诉求显著下降。
• 人类与机器说服者之间的道德可接受性无显著差异，表明说服者身份的重要性低于所采用的策略。
• 情感诉求（积极或消极）的可接受性低于论证性策略，其中积极情感诉求的可接受性略高于消极情感诉求。
• 道德判断由两个潜在维度支撑：对说服的一般态度，以及对真理条件有效性的特定敏感性，后者是关键的心理因素。