[논문 리뷰] Factors that influence the adoption of human-AI collaboration in clinical decision-making

Patrick Hemmer, Max Schemmer외 4명|arXiv (Cornell University)|2022. 04. 19.

Artificial Intelligence in Healthcare and Education인용 수 14

한 줄 요약

이 연구는 전문가 인터뷰를 통해 임상 의사결정에서 인간-AI 협업의 도입에 影響을 미치는 여섯 가지 핵심 요인을 규명한다. 이 요인들 사이의 갈등—예를 들어 신뢰, 투명성, 작업 부담—을 드러내며, 인간 중심의 설계가 의료 환경에서 AI를 동등한 팀원으로 삼기 위한 필요성을 강조한다.

ABSTRACT

Recent developments in Artificial Intelligence (AI) have fueled the emergence of human-AI collaboration, a setting where AI is a coequal partner. Especially in clinical decision-making, it has the potential to improve treatment quality by assisting overworked medical professionals. Even though research has started to investigate the utilization of AI for clinical decision-making, its potential benefits do not imply its adoption by medical professionals. While several studies have started to analyze adoption criteria from a technical perspective, research providing a human-centered perspective with a focus on AI's potential for becoming a coequal team member in the decision-making process remains limited. Therefore, in this work, we identify factors for the adoption of human-AI collaboration by conducting a series of semi-structured interviews with experts in the healthcare domain. We identify six relevant adoption factors and highlight existing tensions between them and effective human-AI collaboration.

연구 동기 및 목표

• 기술적 성능을 초월하여 임상 의사결정에서 AI 도입에 영향을 미치는 인간 중심의 요인을 이해하기 위해.
• AI가 단순한 도구가 아니라 의료 팀의 동등한 파artner로 기능할 수 있는 방식을 탐색하기 위해.
• 효과적인 인간-AI 협업을 방해할 수 있는 도입 요인 간의 갈등을 규명하기 위해.
• 임상 워크플로우와 팀 역학에 원활하게 통합될 수 있도록 지원하는 AI 시스템 설계에 정보를 제공하기 위해.

제안 방법

• AI 도입 요인을 탐색하기 위해 임상 분야 전문가들과의 반구조화된 인터뷰를 실시하였다.
• qualitative 분석을 통해 인간-AI 협업에 영향을 미치는 반복적인 주제와 요인을 규명하였다.
• 인간-컴퓨터 상호작용 및 AI 도입 분야의 기존 이론적 프레임워크에 식별된 요인들을 매핑하였다.
• 주제 분석을 통해 임상 환경에서의 상충 관계를 집중적으로 탐색하며 요인 간의 갈등을 분석하였다.
• 실제 임상 환경에 초점을 맞춰 실무자와 시스템 설계자에게 실질적인 관련성을 확보하였다.
• 반복적 분석을 통해 발견된 결과의 탄탄함과 통찰의 깊이를 검증하였다.

실험 결과

연구 질문

• RQ1 의료 종사자들이 임상 의사결정에서 AI를 동등한 파artner로 수용할 의사가 있는가에 영향을 미치는 요인은 무엇인가?
• RQ2 신뢰, 투명성, 작업 부담이 임상 환경에서 AI 도입에 어떻게 상호작용하는가?
• RQ3 효과적인 인간-AI 협업을 방해할 수 있는 다양한 도입 요인 간의 갈등은 무엇인가?
• RQ4 임상의사들은 자신의 의사결정 과정에서 AI를 팀원으로 보는가, 아니면 도구로 보는가?
• RQ5 AI 시스템 설계는 인간 중심의 과제를 어떻게 해결하여 임상 워크플로우에 원활하게 통합될 수 있는가?

주요 결과

• 신뢰, 투명성, 작업 부담, 역할 명확성, 책임 소재, 시스템 신뢰성의 여섯 가지 핵심 도입 요인이 규명되었다.
• 투명성과 작업 부담 사이의 갈등이 존재하며, 설명 가능성 증가가 인지 부담 증가로 이어질 수 있다.
• 의사들은 기술적 성능보다는 신뢰와 시스템 신뢰성을 우선시하여 AI 도구를 도입한다.
• 인간-AI 팀에서 역할 명확성과 책임 소재의 부재는 AI 권고에 의존하는 데 대한 주저함을 초래한다.
• 전문가들은 특히 의사결정 책임이 여전히 의료진에 있다는 점에서 AI에 대한 과도한 의존에 우려를 제기한다.
• 효과적인 협업을 위해서는 임상 판단을 대체하기보다는 지원하며 인지 부담을 최소화하는 AI 시스템이 필요하다.