[논문 리뷰] The Value of Measuring Trust in AI - A Socio-Technical System Perspective

Michaela Benk, Suzanne Tolmeijer외 2명|arXiv (Cornell University)|2022. 04. 28.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

이 논문은 신뢰 측정의 한계를 극복하기 위해 사회기술 시스템 시각을 제안하며, 두 가지 접근 방식을 도입한다: (1) 시스템 내 모든 상호작용에 걸쳐 신뢰를 집계하고, (2) 비판, 협상, 팀 인지성과 같은 실용적 구성요소로 초점을 이동시킨다. 주요 기여는 추상적인 수치적 신뢰 점수보다는 실제 동적 상황에 기반한 더 신뢰할 수 있고 맥락 인식형 인간-AI 상호작용을 설계하기 위한 프레임워크이다.

ABSTRACT

Building trust in AI-based systems is deemed critical for their adoption and appropriate use. Recent research has thus attempted to evaluate how various attributes of these systems affect user trust. However, limitations regarding the definition and measurement of trust in AI have hampered progress in the field, leading to results that are inconsistent or difficult to compare. In this work, we provide an overview of the main limitations in defining and measuring trust in AI. We focus on the attempt of giving trust in AI a numerical value and its utility in informing the design of real-world human-AI interactions. Taking a socio-technical system perspective on AI, we explore two distinct approaches to tackle these challenges. We provide actionable recommendations on how these approaches can be implemented in practice and inform the design of human-AI interactions. We thereby aim to provide a starting point for researchers and designers to re-evaluate the current focus on trust in AI, improving the alignment between what empirical research paradigms may offer and the expectations of real-world human-AI interactions.

연구 동기 및 목표

• 모호한 정의와 제한된 실증적 설정으로 인해 AI의 신뢰 측정에 일관성이 떨어지는 문제를 해결하기 위해.
• 신뢰에 관한 실증 연구와 실제 인간-AI 상호작용 기대치 사이의 격차를 메우기 위해.
• 실제 AI 구현의 복잡하고 역동적인 상호작용을 더 잘 반영하는 사회기술 시스템 시각을 제안하기 위해.
• 단일 '신뢰 점수'를 수치화하는 데서 벗어나 비판, 팀 인지성 등 신뢰를 가능하게 하는 구성요소를 평가하는 데로 초점을 이동시키기 위해.
• 실제 상호작용 역학과 일치하는 실행 가능한, 설계 중심의 신뢰 측정 방법을 제공하기 위해.

제안 방법

• AI를 상호연결된 인간 및 기술 구성요소 내에 통합된 것으로 모델링하기 위해 사회기술 시스템 시각을 채택한다.
• 구성주의적 접근을 제안: 시스템 내 모든 상호작용에서의 신뢰 수준을 집계하여 신뢰를 측정한다.
• 패러다임 전환적 접근을 도입: 추상적인 신뢰 측정을 비판, 협상, 팀 인지성과 같은 측정 가능한 구성요소로 대체한다.
• 실제 사례—예를 들어 임상의-AI-환자 쌍—을 활용하여 정당화, 피드백 루프, 자신감 변화와 같은 구성요소를 구체화한다.
• 합의 도달 시간, 상호작용 수, 사용자 자신감 변화와 같은 지표를 통해 상호작용 품질을 측정한다.
• 공통 지식과 팀 인지성 같은 구성요소를 통합하여 인간-AI 팀의 공유 이해도와 협업 성과를 평가한다.

실험 결과

연구 질문

• RQ1 현재 접근 방식이 일관성 없는 정의와 단일 수치 점수에 의존함으로써 AI의 신뢰를 어떻게 의미 있게 측정할 수 있는가?
• RQ2 AI를 사회기술 시스템으로 프레임링하는 것은 실증 연구와 실제 구현 환경 간의 일치를 어떻게 향상시키는가?
• RQ3 어떤 측정 가능한, 상호작용 기반의 구성요소가 추상적인 신뢰 지표를 대체하여 AI 설계에 더 잘 기여할 수 있는가?
• RQ4 비판, 협상, 팀 인지성과 같은 구성요소는 인간-AI 협업의 신뢰성을 어떻게 향상시키는가?
• RQ5 인간의 중재(예: 임상의)는 인간-AI 쌍에서 신뢰와 이해를 형성하는 데 어떤 역할을 하는가?

주요 결과

• 기존의 AI 신뢰 측정은 일관되지 않은 용어, 단순화된 실험 환경, 행동 결과와 일치하지 않는 자기 보고식 설문지에 의해 제약을 받는다.
• AI의 신뢰에 대해 단일 수치를 부여하려는 尝시도는 실제 상호작용의 복잡성을 포착하지 못하며, 설계 적용 가능성을 제한한다.
• 환자가 AI 예측에 대한 피드백을 제공하는 비판 측정은 해결 시간과 자신감 변화를 포함해 신뢰 실현을 위한 구체적이고 측정 가능한 대체 지표가 된다.
• 협상, 공통 지식, 팀 인지성과 같은 구성요소는 인간-AI 팀에서 추상적인 신뢰 점수보다 더 실행 가능하고 맥락 민감도 높은 대안을 제공한다.
• 임상의가 임상의-AI-환자 상호작용에서 중재 역할을 하며 신뢰 조정과 결과 수용에 큰 영향을 미치므로, 설계에 이러한 역할을 모델링할 필요가 있음을 시사한다.
• 일관된 측정 방법을 채택하는 한, 정의된 논리에 따라 상호작용 전반에 걸쳐 신뢰를 집계하는 것은 시스템 수준의 신뢰 측정을 위한 실현 가능한 길이다.