[논문 리뷰] I Need Your Advice... Human Perceptions of Robot Moral Advising Behaviors

Nichole D. Starr, Bertram F. Malle외 1명|arXiv (Cornell University)|2021. 04. 14.

Psychology of Moral and Emotional Judgment인용 수 4

한 줄 요약

이 연구는 로봇이 개인의 생명보다 공공의 복지를 우선시하는 행동을 권고할 때 인간이 로봇의 도덕적 조언에 대해 어떻게 인식하는지 조사한다. 연구 결과, 조언을 받는 이가 개인적으로 선택할 가능성이 있는 바와는 상관없이, 공공의 복지를 위해 조언하는 로봇과 인간은 더 긍정적으로 평가됨을 확인하였으며, 이는 인간-로봇 상호작용에서 윤리적으로 일치하는 자율 에이전트를 설계하는 데 핵심 원칙을 제시한다.

ABSTRACT

Due to their unique persuasive power, language-capable robots must be able to both act in line with human moral norms and clearly and appropriately communicate those norms. These requirements are complicated by the possibility that humans may ascribe blame differently to humans and robots. In this work, we explore how robots should communicate in moral advising scenarios, in which the norms they are expected to follow (in a moral dilemma scenario) may be different from those their advisees are expected to follow. Our results suggest that, in fact, both humans and robots are judged more positively when they provide the advice that favors the common good over an individual's life. These results raise critical new questions regarding people's moral responses to robots and the design of autonomous moral agents.

연구 동기 및 목표

• 로봇의 도덕적 기준이 조언을 받는 인간의 기준과 다를 수 있는 도전 상황에서 사람들이 로봇이 도덕적 조언을 내릴 때 어떻게 인식하는지 조사하기.
• 로봇이 개인의 직관적 선호와 충돌하는 바, 공공의 복지를 위한 행동을 권고할 경우 인간이 로봇 조언자에 대해 더 유리하게 평가하는지 조사하기.
• 도덕적 결정 상황에서 인간과 로봇 조언자 간의 비난 할당 방식의 차이가 어떻게 나타나는지 탐구하기.
• 도덕적 소통이 자율 에이전트의 신뢰성과 호감도에 미치는 영향을 평가하기.
• 인간-로봇 상호작용 환경에서 효과적으로 도덕적 기준을 소통할 수 있는 윤리적 역량을 갖춘 로봇 설계를 뒷받침하기.

제안 방법

• Trolley Problem를 영감으로 삼은 도전 상황을 기반으로 한 비디오 기반 실험 연구를 수행하여 참가자들이 로봇과 인간 조언자를 평가하도록 함.
• 조언자의 권고 방식(행동 vs. 무관심)과 조언자의 신분(로봇 vs. 인간)을 조작하여 인식의 차이를 평가함.
• 각 상황 이후 표준화된 척도를 사용해 조언자의 신뢰성, 호감도, 비난 정도를 측정함.
• 다양한 조언자 유형과 조언 유형 간의 반응을 분석하여 도덕적 평가 및 사회적 기대의 패턴을 규명함.
• 통제된 가정 상황을 통해 조언자 신분과 조언 내용이 도덕적 판단에 미치는 영향을 분리하여 분석함.
• 참가자의 조언 평가 및 조언자 행동에 대한 정당성을 탐색하기 위해 정성적 데이터를 수집 및 분석함.

실험 결과

연구 질문

• RQ1 로봇 조언자가 개인의 생명보다 공공의 복지를 우선시하는 행동을 권고할 경우, 인간은 이를 어떻게 인식하는가?
• RQ2 도전 상황에서 인간 조언자와 로봇 조언자의 인식은 어떻게 다를까?
• RQ3 조언자와 조언자의 도덕적 기준이 일치할 경우, 그로 인해 신뢰성과 호감도가 어떻게 영향을 받는가?
• RQ4 도전 상황에서 행동과 무관심을 권고할 경우, 인간 조언자와 로봇 조언자에 대한 비난 할당 방식은 어떻게 다를까?
• RQ5 도덕적 소통은 윤리적 결정 상황에서 인간이 자율 에이전트를 어떻게 인식하는지에 어떤 역할을 하는가?

주요 결과

• 로봇이 한 생명을 희생시켜 다섯 명을 구하는 것을 권고할 경우, 조언을 받는 이가 그로 인해 비난을 받을 수 있는 상황이지만, 로봇은 더 긍정적으로 평가됨.
• 로봇과 인간 모두 공공의 복지를 위한 행동을 권고할 경우 더 유리하게 평가됨을 확인하여, 도덕적 평가 기준이 공통으로 작용함을 시사함.
• 참가자들은 로봇에 대해 무관심을 권고했을 경우보다 행동을 권고했을 경우 더 많은 비난을 할당함. 이는 인간 조언자에 대해선 일관되게 관찰되지 않음.
• 로봇뿐만 아니라 인간 조언자도 공공의 복지를 위한 행동을 권고할 경우 더 유쾌하고 신뢰할 만하게 평가됨. 이는 조언자가 실제로 그러한 행동을 피할 수 있음에도 불구하고 마찬가지임.
• 조언자 신분과 권고 행동 간의 도덕적 일관성이 높을수록, 그로 인해 신뢰성이 향상됨을 확인함. 이는 조언자의 정체성과 무관하게 적용됨.
• 로봇과 인간 간의 비난 패턴의 차이는, 특히 무관심에 대해선 기계적 형태의 로봇가 더 엄격한 도덕적 기준을 적용받을 수 있음을 시사함.