[논문 리뷰] Is it morally acceptable for a system to lie to persuade me?

Marco Guerini, Fabio Pianesi외 1명|arXiv (Cornell University)|2014. 04. 15.

Psychology of Moral and Emotional Judgment참고 문헌 21인용 수 3

한 줄 요약

이 연구는 도덕적 딜레마 시나리오를 활용한 행동 실험을 통해 설득 시스템이 사용자를 설득하기 위해 거짓말을 하거나 정서적 호소를 사용하는 것의 도덕적 수용 가능성을 조사한다. 결과적으로 진리 조건 논리(논증의 타당성)가 도덕적 수용 가능성을 유의미하게 높이며, 설득자의 신원(인간 대 기계)은 유의미한 영향을 미치지 않으며, 거짓말은 널리 수용 불가능하다고 평가된다.

ABSTRACT

Given the fast rise of increasingly autonomous artificial agents and robots, a key acceptability criterion will be the possible moral implications of their actions. In particular, intelligent persuasive systems (systems designed to influence humans via communication) constitute a highly sensitive topic because of their intrinsically social nature. Still, ethical studies in this area are rare and tend to focus on the output of the required action. Instead, this work focuses on the persuasive acts themselves (e.g. "is it morally acceptable that a machine lies or appeals to the emotions of a person to persuade her, even if for a good end?"). Exploiting a behavioral approach, based on human assessment of moral dilemmas -- i.e. without any prior assumption of underlying ethical theories -- this paper reports on a set of experiments. These experiments address the type of persuader (human or machine), the strategies adopted (purely argumentative, appeal to positive emotions, appeal to negative emotions, lie) and the circumstances. Findings display no differences due to the agent, mild acceptability for persuasion and reveal that truth-conditional reasoning (i.e. argument validity) is a significant dimension affecting subjects' judgment. Some implications for the design of intelligent persuasive systems are discussed.

연구 동기 및 목표

• 사용자가 설득 시스템이 거짓말을 하거나 정서적 호소를 사용하여 행동을 유도하는 것을 도덕적으로 수용하는지 조사하기 위해.
• 설득자의 신원(인간 대 기계)이 설득 전략의 도덕적 수용 가능성에 미치는 영향을 평가하기 위해.
• 상황적 조건이 기만적 또는 정서적 설득의 도덕적 수용 가능성을 어떻게 조절하는지 탐색하기 위해.
• 인간-컴퓨터 상호작용에서 설득 행위에 대한 도덕적 판단의 심리적 차원을 규명하기 위해.
• 실증적 인간의 도덕적 평가에 기반하여 적응형, 지능형 설득 시스템의 윤리적 설계를 안내하기 위해.

제안 방법

• 설득을 연구하기 위해 도덕적 딜레마 프레임워크를 변형하여 참가자들에게 다양한 설득 전략을 포함한 시나리오를 제시하였다.
• 네 가지 설득 전략을 포함한 실험 시나리오를 설계: 순수 논증 중심, 긍정적 정서 호소, 부정적 정서 호소, 거짓말.
• 기본 윤리 이론을 전제하지 않고 행동적이고 실증적인 접근 방식을 통해 인간의 도덕적 판단을 수집하였다.
• 통제된 실험 설계를 통해 다양한 시나리오에서 인간과 기계의 설득자 간 비교를 수행하였다.
• 통계적 방법을 활용하여 도덕적 수용 가능성에 영향을 미치는 잠재적 차원(예: 진리 조건 논리, 설득에 대한 일반적 태도)을 규명하였다.
• 크라우드소싱과 시나리오 기반 평가를 활용하여 현실적이고 사회적으로 관련성이 있는 맥락에서 도덕적 판단 데이터를 확보하였다.

실험 결과

연구 질문

• RQ1 시스템이 사용자를 설득하기 위해 거짓말을 하는 것은 도덕적으로 수용 가능한가, 그리고 다른 설득 전략과 비교해보면 어떻게 되는가?
• RQ2 인간이 수행할 경우와 기계가 수행할 경우 설득 전략의 도덕적 수용 가능성에 차이가 있는가?
• RQ3 긍정적 또는 부정적 정서 호소는 논증적 추론과 비교해 도덕적으로 얼마나 수용 가능한가?
• RQ4 상황적 조건이 설득 행위에 대한 도덕적 판단을 어느 정도 조절하는가?
• RQ5 사람들의 설득 전략에 대한 도덕적 판단을 뒷받침하는 심리적 차원은 무엇인가?

주요 결과

• 설득 행위의 총합 도덕적 수용 가능성은 낮으며, 평균적으로 23%의 설득 행위만 수용 가능하다고 평가된다.
• 진리 조건 논리—특히 타당한 논증—는 도덕적 수용 가능성을 유의미하게 높이며, 모든 전략 중에서 가장 높은 순위를 차지한다.
• 거짓말은 가장 수용 불가능한 전략이며, 논증적 또는 정서적 호소와 비교해 수용 가능성은 급격히 떨어진다.
• 인간 설득자와 기계 설득자 간 도덕적 수용 가능성에 유의미한 차이가 없으며, 이는 설득자의 신원이 전략의 유형만큼 중요하지 않음을 시사한다.
• 정서적 호소(긍정적 또는 부정적)는 논증적 전략보다 수용 가능성이 낮으며, 부정적 정서 호소보다 긍정적 정서 호소가 약간 더 높은 수용 가능성을 보인다.
• 도덕적 판단을 뒷받침하는 두 가지 잠재적 차원이 존재한다: 설득에 대한 일반적 태도와 진리 조건 타당성에 대한 특별한 민감도이며, 후자가 핵심 심리적 요소이다.