[논문 리뷰] Assessing the communication gap between AI models and healthcare professionals: explainability, utility and trust in AI-driven clinical decision-making

Oskar Wysocki, Jessica Katharine Davies외 5명|arXiv (Cornell University)|2022. 04. 11.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 연구는 암 및 코로나19 환자 분류를 위한 실제 세계 시뮬레이션(CORONET)을 활용해 임상 의사결정 지원에서 설명 가능한 인공지능의 효과를 평가한다. 설명은 신뢰도를 높이고 자동화 편향을 줄이지만, 동시에 확인 편향과 인지 과부하를 유도할 수 있음을 밝혀낸다. 연구는 기계학습 설명 가능성에 대한 실용적 평가 프레임워크를 제안하며, 설명이 모호한 경우의 의사결정을 향상시키고 경험 부족한 임상 종사자들에게도 도움이 된다고 입증한다.

ABSTRACT

This paper contributes with a pragmatic evaluation framework for explainable Machine Learning (ML) models for clinical decision support. The study revealed a more nuanced role for ML explanation models, when these are pragmatically embedded in the clinical context. Despite the general positive attitude of healthcare professionals (HCPs) towards explanations as a safety and trust mechanism, for a significant set of participants there were negative effects associated with confirmation bias, accentuating model over-reliance and increased effort to interact with the model. Also, contradicting one of its main intended functions, standard explanatory models showed limited ability to support a critical understanding of the limitations of the model. However, we found new significant positive effects which repositions the role of explanations within a clinical context: these include reduction of automation bias, addressing ambiguous clinical cases (cases where HCPs were not certain about their decision) and support of less experienced HCPs in the acquisition of new domain knowledge.

연구 동기 및 목표

• 실제 임상 상황에서 설명 가능한 기계학습 모델이 의료 종사자의 의사결정에 미치는 실용적 영향을 조사하는 것.
• 모델 설명이 복잡하고 데이터 기반의 의사결정 환경에서 신뢰도, 사용성, 임상 성과에 어떻게 영향을 미치는지 평가하는 것.
• 임상 워크플로우에서 설명의 영향을 분석하여 긍정적·부정적 영향, 즉 편향과 인지 부하를 특정하는 것.
• 단일 모델 출력을 넘어서 실제 임상 환경에서 설명 가능한 인공지능의 유효성과 사용성을 평가하는 데 사용할 수 있는 프레임워크를 개발하고 검증하는 것.

제안 방법

• 암 및 코로나19 환자 입원 결정을 위한 실제 임상 의사결정 지원 도구(CORONET)를 사용하여 23명의 의료 종사자 대상 내부 대조 설문 연구를 수행하였다.
• 10개의 시뮬레이션 환자 사례에서 설명이 있는 경우와 없는 경우(점수 + 색상 바 대비 점수 + 기여 요소)의 모델 성능을 비교하였다.
• 모델 설명을 임상 유효성, 정신 모델, 의사결정 결과와 연결하는 실용적 평가 프레임워크를 적용하였다.
• 신뢰도, 사용성, 인지 노력, 의사결정 자신감에 대한 정성적 및 정량적 피드백을 수집하였다.
• 도메인 전문가가 설계한 임상 사례 시나리오를 사용하여 실제성과 임상 일관성을 확보하였으며, 이는 인위적이지만 실제 상황을 반영하도록 설계되었다.
• 설명이 자동화 편향, 확인 편향, 모델 한계에 대한 비판적 이해에 미치는 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 설명은 인공지능 기반 임상 의사결정 지원 시스템에서 의료 종사자의 신뢰도와 인지된 유효성에 어떻게 영향을 미치는가?
• RQ2 설명은 임상 의사결정에서 확인 편향과 자동화 편향을 포함한 인지적 및 행동적 영향을 어떻게 초래하는가?
• RQ3 설명은 임상 종사자가 모델 오류를 탐지하거나 모델 한계를 이해하는 데 얼마나 도움이 되는가?
• RQ4 설명은 모호한 임상 사례에서 또는 경험 부족한 의료 종사자에게 의사결정을 어떻게 지원하는가?
• RQ5 단일 모델 출력을 넘어서 실제 임상 워크플로우에 통합된 설명의 실용적 유효성은 어떠한가?

주요 결과

• 설명은 자동화 편향을 줄였으며, 특히 임상 종사자가 모델의 권고와 의견이 다를 경우 더 깊이 있는 성찰을 유도하였다.
• 참가자 17–35%에서 설명이 인지 노력 증가와 함께 확인 편향을 유도하여 모델에 대한 과도한 의존을 강화시킬 수 있었다.
• 설명이 제공된 상태에서도 참가자 57%가 모델 오류를 탐지하지 못해 모델 한계에 대한 비판적 이해가 개선되지 않았음을 시사했다.
• 설명은 임상 종사자가 자신의 판단에 확신을 갖지 못하는 모호한 임상 사례에서 의사결정을 크게 향상시켰다.
• 경험이 적은 의료 종사자들은 설명을 통해 새로운 임상 도메인 지식 습득에 도움을 받았다고 보고하였다.
• 설명을 신뢰도 향상 수단으로 긍정적으로 평가함에도 불구하고, 실제 유효성은 맥락에 따라 달라지며 일률적인 유익함은 아니었다.