[논문 리뷰] Trust Considerations for Explainable Robots: A Human Factors Perspective

Lindsay Sanneman, Julie Shah|arXiv (Cornell University)|2020. 05. 12.

Human-Automation Interaction and Safety참고 문헌 11인용 수 11

한 줄 요약

이 논문은 인간 요인 원칙을 설명 가능한 로봇 기술에 통합하여 인간-로봇 팀을 설계하기 위한 세 가지 핵심 신뢰 고려 사항—신뢰의 기초, 신뢰 캘리브레이션, 신뢰의 특이성—을 규명한다. 로봇 설명에 기반한 신뢰 평가를 위한 지표를 제안함으로써, 경험적 인간 요인 연구에 기반한 투명하고 맥락 인식형 설명을 통해 인간의 이해도와 팀 성과를 향상시킨다.

ABSTRACT

Recent advances in artificial intelligence (AI) and robotics have drawn attention to the need for AI systems and robots to be understandable to human users. The explainable AI (XAI) and explainable robots literature aims to enhance human understanding and human-robot team performance by providing users with necessary information about AI and robot behavior. Simultaneously, the human factors literature has long addressed important considerations that contribute to human performance, including human trust in autonomous systems. In this paper, drawing from the human factors literature, we discuss three important trust-related considerations for the design of explainable robot systems: the bases of trust, trust calibration, and trust specificity. We further detail existing and potential metrics for assessing trust in robotic systems based on explanations provided by explainable robots.

연구 동기 및 목표

• 실제 팀워크 상황에서 설명 가능할 뿐 아니라 신뢰할 만한 인간-로봇 시스템의 증가하는 수요를 해결하기 위해.
• 특히 설명 가능성의 맥락에서 자율 로봇 시스템에서의 신뢰에 영향을 주는 핵심 인간 요인을 규명하기 위해.
• 신뢰를 심리적 및 행동적 원칙에 기반하여 설명 가능한 AI(XAI)와 인간 요인 연구 간 격차를 메우기 위해.
• 제공된 설명의 품질과 내용에 기반하여 로봇 시스템에서의 신뢰를 측정하기 위한 실용적 지표를 제안하기 위해.
• 다이나믹한 팀워크 환경에서 정확하고 적응형이며 상황에 맞는 인간의 신뢰를 지원하는 설명 가능한 로봇의 설계를 이끌기 위해.

제안 방법

• 기존의 인간 요인 문헌을 바탕으로, 세 가지 기초적인 신뢰 차원—신뢰의 기초(예: 능력, 신뢰성), 신뢰 캘리브레이션(실제 시스템 성능에 비해 신뢰의 정확도), 신뢰의 특이성(다양한 시스템 행동에 대한 맥락 기반 신뢰)—를 식별한다.
• 로봇이 제공한 설명에 반응하여, 행동, 생리적, 자가 보고 측정치를 포함한 기존 및 잠재적 지표를 분석하여 신뢰를 평가하는 방법을 연구한다.
• 설명이 인간의 정신 모델과 일치하고 의미 있고 적시에 제공되도록 하기 위해 인간-컴퓨터 상호작용 및 인지 시스템 공학의 통찰을 통합한다.
• 설명의 내용을 신뢰 관련 결과와 연결하는 설계 중심의 프레임워크를 제안하여, 설명이 단순히 정보를 전달하는 것 이상의 기능적 효과를 가지도록 보장한다.
• 사용자의 인지 부하, 작업 맥락, 의사결정 요구사항에 맞게 설명을 맞춤화함으로써 신뢰와 성과를 최적화하는 중요성을 강조한다.
• 실험적 인간-로봇 상호작용 연구, 특히 팀워크 맥락에서의 기존 연구를 검토함으로써 이 접근법을 경험적 증거에 기반하여 검증한다.

실험 결과

연구 질문

• RQ1 자율 로봇 시스템에서 인간의 신뢰를 이끄는 주요 심리적 및 행동적 기초는 무엇인가?
• RQ2 사용자의 자신감이 로봇의 실제 신뢰성과 성능에 맞게 효과적으로 캘리브레이션되려면 어떻게 해야 하는가?
• RQ3 신뢰는 어떤 방식으로 다양한 작업이나 맥락에서 달라지며, 설명은 어떻게 맥락 기반의 신뢰를 지원하기 위해 맞춤화될 수 있는가?
• RQ4 로봇 시스템에서 설명이 인간의 신뢰에 미치는 영향을 객관적으로 평가하기 위해 사용할 수 있는 지표는 무엇인가?
• RQ5 어떻게 설계된 설명 가능한 로봇 시스템이 인간-로봇 팀에서 정확하고 적응형이며 상황에 맞는 신뢰를 지원할 수 있는가?

주요 결과

• 로봇에 대한 신뢰의 기초는 인식된 능력, 신뢰성, 예측 가능성에 뿌리를 두며, 설명이 이러한 인식을 형성하는 데 핵심적인 역할을 한다.
• 신뢰 캘리브레이션은 매우 중요하다: 오해의 소재가 되는 설명으로 인한 과신은 시스템 실패로 이어지고, 반대로 과소신뢰는 시스템 이용률을 감소시킬 수 있다.
• 신뢰는 단일한 개념이 아니다—작업 맥락에 따라 달라지며, 특정 행동이나 의사결정을 설명할 때는 그에 맞는 설명이 필요하여 적절한 수준의 신뢰를 지원해야 한다.
• 행동(예: 작업 성과), 생리적(예: 눈 동공 추적, 심박수), 자가 보고(예: 신뢰 척도) 등의 다양한 지표를 식별하여 설명의 효과가 신뢰 형성에 미치는 영향을 평가하는 데 사용할 수 있다.
• 적시성, 관련성, 사용자 정신 모델과의 일치성을 갖춘 설명은 신뢰 캘리브레이션과 팀 성과를 크게 향상시킨다.
• 인간 요인 원칙을 설명 가능한 로봇 설계에 통합함으로써 더 효과적이고 신뢰할 수 있으며 인간 중심적인 로봇 시스템이 만들어진다.