[論文レビュー] Is it morally acceptable for a system to lie to persuade me?

Marco Guerini, Fabio Pianesi+1 more|arXiv (Cornell University)|Apr 15, 2014

Psychology of Moral and Emotional Judgment参考文献 21被引用数 3

ひとこと要約

本研究では、行動実験を用いて道徳的ジレンマのシナリオを提示し、パーソアベーシブシステムが嘘をついたり感情に訴えたりしてユーザーに影響を与えることの道徳的受容性を調査した。結果として、真実条件的推論（論理的妥当性）が道徳的受容性を顕著に向上させた一方、発信者の身元（人間対機械）には有意な影響がなく、嘘は広く受け入れられないとされた。

ABSTRACT

Given the fast rise of increasingly autonomous artificial agents and robots, a key acceptability criterion will be the possible moral implications of their actions. In particular, intelligent persuasive systems (systems designed to influence humans via communication) constitute a highly sensitive topic because of their intrinsically social nature. Still, ethical studies in this area are rare and tend to focus on the output of the required action. Instead, this work focuses on the persuasive acts themselves (e.g. "is it morally acceptable that a machine lies or appeals to the emotions of a person to persuade her, even if for a good end?"). Exploiting a behavioral approach, based on human assessment of moral dilemmas -- i.e. without any prior assumption of underlying ethical theories -- this paper reports on a set of experiments. These experiments address the type of persuader (human or machine), the strategies adopted (purely argumentative, appeal to positive emotions, appeal to negative emotions, lie) and the circumstances. Findings display no differences due to the agent, mild acceptability for persuasion and reveal that truth-conditional reasoning (i.e. argument validity) is a significant dimension affecting subjects' judgment. Some implications for the design of intelligent persuasive systems are discussed.

研究の動機と目的

• ユーザーが説得システムが行動を誘導するために嘘をつくことや感情に訴えることの道徳的受容性を調査すること。
• 説得者の身元（人間対機械）が説得戦略の道徳的受容性に与える影響を評価すること。
• 状況的要因が、だましや感情的説得の道徳的受容性をどのように緩和・強化するかを探索すること。
• 人間-コンピュータ相互作用における説得行為の道徳的判断の背後にある心理的次元を特定すること。
• 実証的かつ人間の道徳的評価に基づいて、適応的・知能的説得システムの倫理的設計を支援すること。

提案手法

• 説得行動を研究するため、道徳的ジレンマパラダイムを改変し、異なる説得戦略を含むシナリオを参加者に提示した。
• 四つの説得戦略（純粋な論拠提示、肯定的感情への訴え、否定的感情への訴え、虚偽）を含む実験的シナリオを設計した。
• 事前に定義された倫理理論を仮定せず、行動的・実証的手法を用いて、各戦略の受容性に関する人間の道徳的判断を収集した。
• 人間と機械の両方のエージェントを説得者として、さまざまなシナリオで比較する制御された実験デザインを採用した。
• 統計的手法を用いて、道徳的受容性に影響を与える潜在的次元（真実条件的推論や説得に対する一般的な態度など）を同定した。
• クラウドソーシングとシナリオベースの評価を用い、現実的かつ社会的に関連性のある文脈における道徳的判断データを収集した。

実験結果

リサーチクエスチョン

• RQ1 システムがユーザーを説得するために嘘をつくことは道徳的に受容可能か？ 他の説得戦略と比較するとどうか？
• RQ2 人間が行う場合と機械が行う場合とで、説得戦略の道徳的受容性に差があるか？
• RQ3 肯定的または否定的感情への訴えは、論理的推論と比較して道徳的にどの程度受容可能か？
• RQ4 状況的要因が、説得行為の道徳的判断にどの程度緩和的・強化的要因として作用するか？
• RQ5 人々の説得戦略に対する道徳的判断の背後にある心理的次元は何か？

主な発見

• 説得行為全体の道徳的受容性は低く、平均して23%の説得行為しか受容されなかった。
• 真実条件的推論（特に妥当な論証）は、道徳的受容性を顕著に向上させ、全戦略の中で最も高い評価を獲得した。
• 嘘は最も受容性が低く、論理的または感情的訴えと比較して顕著に受容度が低下した。
• 人間と機械の説得者間に道徳的受容性に有意な差はなく、説得者の身元は戦略の内容ほど重要ではないことが示唆された。
• 感情的訴え（肯定的・否定的を問わず）は論理的戦略より受容度が低く、肯定的訴えの方が否定的訴えよりもわずかに高い受容度を示した。
• 道徳的判断を規定する二つの潜在的次元が同定された：説得に対する一般的な態度と、真実条件的妥当性に対する感受性。後者は主要な心理的要因であった。