[논문 리뷰] Rethinking Trust in Social Robotics

Rachele Carli, Amro Najjar|arXiv (Cornell University)|2021. 09. 14.

Ethics and Social Impacts of AI참고 문헌 41인용 수 5

한 줄 요약

이 논문은 인간-로봇 신뢰를 최대화하는 목표로 보는 것보다는, 맥락에 민감하고 윤리적 기준으로 제한되는 현상으로 재고할 것을 주장한다. 이는 다학제적 평가가 필요하며, 신뢰를 불러일으키는 것에서부터 최소한으로 적절한 수준의 신뢰를 결정하는 데로 전환해야 한다. 이는 신뢰성, 투명성, 인간 중심 설계에 기반하며, 조작이나 과도한 신뢰의 위험을 완화하고 효과적인 인간-로봇 협업을 보장한다.

ABSTRACT

In 2018 the European Commission highlighted the demand of a human-centered approach to AI. Such a claim is gaining even more relevance considering technologies specifically designed to directly interact and physically collaborate with human users in the real world. This is notably the case of social robots. The domain of Human-Robot Interaction (HRI) emerged to investigate these issues. "Human-robot trust" has been highlighted as one of the most challenging and intriguing factors influencing HRI. On the one hand, user studies and technical experts underline how trust is a key element to facilitate users' acceptance, consequently increasing the chances to pursue the given task. On the other hand, such a phenomenon raises also ethical and philosophical concerns leading scholars in these domains to argue that humans should not trust robots. However, trust in HRI is not an index of fragility, it is rooted in anthropomorphism, and it is a natural characteristic of every human being. Thus, instead of focusing solely on how to inspire user trust in social robots, this paper argues that what should be investigated is to what extent and for which purpose it is suitable to trust robots. Such an endeavour requires an interdisciplinary approach taking into account (i) technical needs and (ii) psychological implications.

연구 동기 및 목표

• 사회로봇에서 사용자 신뢰를 최대화하는 지배적인 연구 경향에 도전하여, 이는 윤리적 조작과 과도한 신뢰의 위험을 수반한다.
• 철학적 경고에도 불구하고 인간이 자연스럽게 로봇을 인격화하고 신뢰하는 이유를 탐구한다.
• 신뢰(심리적 상태)와 신뢰성(객관적이고 설계 가능한 성질)을 구분하여 윤리적인 로봇 개발을 이끌어내는 데 목적이 있다.
• ‘신뢰 없이 사용 불가’의 패러다임에서 ‘최소한 충분한 신뢰’ 모델로의 전환을 제안하여 功能성과 사용자 정신적 통합성을 보장한다.
• 기술적, 심리적, 윤리적, 법적 시각을 통합하여 사회적으로 수용 가능한 로봇을 설계하는 데에 기여한다.

제안 방법

• 신뢰를 인간 심리학, 인류학, 인지과학에 뿌리를 두고 다학제적 개념으로 분석하며, 불확실성에 대처하는 데서의 역할을 강조한다.
• 특히 속임수, 조작, 인간의 자율성 상실에 초점을 맞춘 AI 시스템에 대한 신뢰 반대 철학적 논거를 검토한다.
• 인간의 본능적인 인격화 경향으로 인해 로봇에 대한 신뢰는 피할 수 없으며, 이는 회피가 아니라 설계의 책임이 되어야 한다고 제안한다.
• 신뢰(주관적, 감정적, 인지적)와 신뢰성(객관적, 측정 가능, 설계 기반)을 구분하여, 후자를 기술적 및 윤리적 우선순위로 주장한다.
• 로봇 설계에서 ‘신뢰 최적화’에서 ‘신뢰성 최적화’로의 전환을 제안하며, 투명성, 물리적 무결성, 제어권 강화를 강조한다.
• 특히 유럽연합의 제안된 인공지능법을 포함한 법적 프레임워크를 로봇 개발에 통합하여 윤리 기준과 인간 권리 기반을 확립한다.

실험 결과

연구 질문

• RQ1 신뢰 유도의 윤리적·심리적 정당성이 있는 정도는 어느 수준이며, 조작 및 속임수의 위험이 존재하는 상황에서 신뢰를 장려하는 것이 타당한가?
• RQ2 철학적 주장에도 불구하고 인간이 자연스럽게 로봇을 신뢰하는 이유는 무엇이며, 이를 설계에서 책임감 있게 활용할 수 있는 방법은 무엇인가?
• RQ3 신뢰성은 어떻게 객관적으로 측정하고 사회로봇에 설계할 수 있으며, 주관적인 신뢰 인식에 의존하지 않을 수 있는가?
• RQ4 사용자 자율성이나 정신적 통합성을 훼손하지 않으면서 효과적인 인간-로봇 협업을 위해 필요한 최소한의 신뢰 수준은 무엇인가?
• RQ5 기술적, 심리적, 윤리적, 법적 다학제적 협업은 실제 적용 환경에서 책임감 있는 로봇 개발을 어떻게 이끌 수 있는가?

주요 결과

• 사회로봇에 대한 신뢰는 결함이나 취약성이라기보다는, 인격화 경향과 불확실성 관리에 대한 인간의 인지 전략의 자연스러운 결과이다.
• 현재의 신뢰 최적화 중심 연구 접근은 윤리적으로 문제를 야기하며, 사용자의 인식을 조작하고 자율성을 약화시킬 위험이 있다.
• 신뢰성—로봇의 객관적이고 설계 가능한 성질로 정의되는 것—은 주관적 신뢰보다 우선시되어야 하며, 이는 투명성과 사용자 통제를 가능하게 한다.
• 투명성 설계를 통해 사용자는 로봇의 행동을 이해하고 통제할 수 있으며, 이는 주관적 신뢰에 대한 의존도를 줄이고 속임수 위험을 완화한다.
• 기능성과 윤리적 보호 조치의 균형을 이루기 위해 최소한의 협업용 신뢰 수준은 다학제적 평가를 통해 결정할 수 있다.
• 유럽연합의 제안된 인공지능법과 같은 법적 및 윤리적 프레임워크는 로봇 개발이 기본적인 인간 권리와 정신적 통합성을 지키도록 보장하는 유의미한 기준이 될 수 있다.