[논문 리뷰] A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction

Siddharth Mehrotra, Chadha Degachi외 3명|arXiv (Cornell University)|2023. 11. 08.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 체계적 리뷰는 인간-AI 상호작용에서 적절한 신뢰를 촉진하기 위한 현재 연구를 종합적으로 분석하여 정의, 측정 기법, 신뢰 구축 방법, 작업 맥락을 다룹니다. 신념, 의도, 행동(Belief, Intentions, and Actions, BIA) 매핑을 도입하여 개념적 모호성을 명확히 하고 핵심 과제, 추세, 연구 격차를 규명하며 신뢰할 수 있는 AI 시스템 설계를 위한 실천 가능한 권고안을 제시합니다.

ABSTRACT

Appropriate Trust in Artificial Intelligence (AI) systems has rapidly become an important area of focus for both researchers and practitioners. Various approaches have been used to achieve it, such as confidence scores, explanations, trustworthiness cues, or uncertainty communication. However, a comprehensive understanding of the field is lacking due to the diversity of perspectives arising from various backgrounds that influence it and the lack of a single definition for appropriate trust. To investigate this topic, this paper presents a systematic review to identify current practices in building appropriate trust, different ways to measure it, types of tasks used, and potential challenges associated with it. We also propose a Belief, Intentions, and Actions (BIA) mapping to study commonalities and differences in the concepts related to appropriate trust by (a) describing the existing disagreements on defining appropriate trust, and (b) providing an overview of the concepts and definitions related to appropriate trust in AI from the existing literature. Finally, the challenges identified in studying appropriate trust are discussed, and observations are summarized as current trends, potential gaps, and research opportunities for future work. Overall, the paper provides insights into the complex concept of appropriate trust in human-AI interaction and presents research opportunities to advance our understanding on this topic.

연구 동기 및 목표

• 인간-AI 상호작용에서 적절한 신뢰의 정의에 대한 합의 부족이 효과적인 시스템 설계를 저해하므로 이를 해결하기 위함.
• 신뢰를 구축하는 데 사용되는 현재의 방법들을 식별하고 분류하기 위함(예: 투명성, 설명, 자신감 신호 등).
• 실험적 연구에서 적절한 신뢰가 어떻게 측정되는지 분석하기 위함(예: 인식된, 행동으로 드러난, 혼합 방법 포함).
• 작업 설계 및 영역 맥락이 인간-AI 상호작용에서의 신뢰 결과에 미치는 영향을 검토하기 위함.
• 연구 격차와 과제(예: 과소 신뢰, 지침 도입 부족, 탐색되지 않은 신뢰의 초점 등)를 부각하고 향후 연구 방향을 제시하기 위함.

제안 방법

• PRISMA 지침을 따르며 인간-AI 상호작용에서의 적절한 신뢰에 관한 심층 검토된 논문들을 대상으로 체계적 문헌 리뷰를 수행함.
• 포함/배제 기준에 기반한 다단계 선별 절차를 통해 경험적 및 이론적 연구를 중심으로 관련 연구를 식별함.
• 신뢰, 정당화된 신뢰, 정당한 신뢰, 적절한 의존성 등의 정의를 비교·대조하기 위해 신념, 의도, 행동(Belief, Intentions, and Actions, BIA) 매핑 프레임워크를 개발함.
• 신뢰 구축 방법을 투명성, 인지 기반 신호, 지침, 신뢰 연속체 모델링의 네 가지 주요 유형으로 분류함.
• 측정 기법을 연구 간 분석하여 인식된 신뢰(자기 보고), 행동으로 드러난 신뢰(행동적 행동), 혼합 방법을 구분함.
• 작업 유형과 영역(예: 헬스케어, 금융, 자율 시스템 등)을 매핑하여 그들이 신뢰 결과에 미치는 영향을 평가함.

(a) A time-series chart shows the number of studies from 1987 to 2022 2 2 2 Our search string for this chart was: ( ”appropriate trust” OR ”calibrated trust” OR ”trust calibration” OR ”over trust” OR ”under trust” OR ”over-trust” OR ”under-trust” ) AND PUBYEAR ¿ 1979 AND ( LIMIT-TO ( LANGUAGE , ”Eng

실험 결과

연구 질문

• RQ1 다양한 연구 분야에서 인간-AI 상호작용에서의 적절한 신뢰의 주요 정의와 개념화는 무엇인가요?
• RQ2 적절한 신뢰를 촉진하는 데 가장 흔히 사용되는 방법은 무엇이며, 이는 시스템 성능와 사용자 신뢰를 얼마나 잘 校정하는가요?
• RQ3 실험적 연구에서 적절한 신뢰는 어떻게 측정되며, 인식된, 행동으로 드러난, 혼합 측정 접근법의 강점과 한계는 무엇인가요?
• RQ4 작업 설계와 영역 맥락이 AI 시스템에서 적절한 신뢰의 발달에 얼마나 영향을 미치는가요?
• RQ5 과소 신뢰, 지침 도입 부족, AI 개발자의 역할 등 적절한 신뢰를 연구하는 데 있어 핵심 과제와 연구 격차는 무엇인가요?

주요 결과

• 사용자 연구의 45%가 과신을 탐지하는 데 집중한 반면, AI 시스템에서의 과소 신뢰는 상당히 미흡하게 다뤄져 중요한 연구 격차가 있음.
• 다수의 학술 및 산업 프레임워크가 존재함에도 불구하고, 연구의 10%만이 확립된 신뢰 캘리브레이션 지침을 따름.
• 투명성, 인지 기반 신호(예: 경고, 경보), 불확실성 통신이 적절한 신뢰를 촉진하는 데 가장 자주 사용된 방법임.
• BIA 매핑을 통해 '적절한 신뢰', '정당화된 신뢰', '적절한 의존성' 등의 용어 간 개념적 일관성 부족이 드러나, 명확한 정의가 필요함을 시사함.
• 작업 목적이 신뢰 결과에 중대한 영향을 미쳤음: 정의성에 초점이 맞춰진 연구는 정확성 또는 신뢰성에 초점이 맞춰진 연구와 다른 신뢰 패턴을 보임.
• 특히 AI 개발자 및 제조사에 대한 신뢰의 초점은 여전히 대부분 탐색되지 않은 상태이며, 사용자 인식과 시스템 책임성에 미치는 잠재적 영향을 감안할 때 중요함.

(b) Some key papers during the development process of appropriate trust research.