[논문 리뷰] What Clinicians Want: Contextualizing Explainable Machine Learning for Clinical End Use

Sana Tonekaboni, Shalmali Joshi외 2명|arXiv (Cornell University)|2019. 05. 13.

Explainable Artificial Intelligence (XAI)참고 문헌 76인용 수 239

한 줄 요약

이 논문은 ICU와 ED 임상의들을 설문해 설명가능한 ML을 임상 실무로 번역하기 위한 구체적인 설명 가능성 클래스와 평가 지표를 정의한다.

ABSTRACT

Translating machine learning (ML) models effectively to clinical practice requires establishing clinicians' trust. Explainability, or the ability of an ML model to justify its outcomes and assist clinicians in rationalizing the model prediction, has been generally understood to be critical to establishing trust. However, the field suffers from the lack of concrete definitions for usable explanations in different settings. To identify specific aspects of explainability that may catalyze building trust in ML models, we surveyed clinicians from two distinct acute care specialties (Intenstive Care Unit and Emergency Department). We use their feedback to characterize when explainability helps to improve clinicians' trust in ML models. We further identify the classes of explanations that clinicians identified as most relevant and crucial for effective translation to clinical practice. Finally, we discern concrete metrics for rigorous evaluation of clinical explainability methods. By integrating perceptions of explainability between clinicians and ML researchers we hope to facilitate the endorsement and broader adoption and sustained use of ML systems in healthcare.

연구 동기 및 목표

• 설명가능성이 임상 실무에서 ML 모델에 대한 신뢰를 구축하는 방법을 식별한다.
• ICU 및 ED 환경의 임상의에게 가장 관련성이 높은 설명의 클래스를 특징짓는다.
• 신뢰성과 도입을 위한 ML 설계에 설명가능성 고려사항을 어떻게 통합할 수 있는지 기술한다.
• 임상 설명가능성 방법의 엄격한 평가를 위한 지표를 제안한다.
• 임상의 요구와 연구용 ML 간의 다리를 놓아 실제 적용으로의 번역을 촉진한다.

제안 방법

• 모델 구현 이전에 임상의와의 선행 이해관계자 참여.
• 설명가능성 기대를 탐색하기 위한 ICU 및 ED 소속 10명의 임상의 질적 인터뷰.
• 설명을 탐색하기 위한 가상 상호작용 시나리오 사용(ICU의 CA 예측; ED의 중증도 순위).
• 주제 포화에 도달할 때까지 인터뷰를 수행하며 인터뷰 프로토콜에 따라 진행.
• 다양한 임상 환경(ICU 대 ED)에 대한 설명 클래스의 식별과 적용 가능성 평가.
• 임상 워크플로우와 의사결정에 근거한 평가 지표 제안.

실험 결과

연구 질문

• RQ1 실제 임상에서 임상의가 모델 예측에 신뢰를 가지도록 돕는 ML 설명가능성의 요소는 무엇인가?
• RQ2 ICU 및 ED 임상의에게 가장 관련성 높고 실행 가능한 설명 클래스를 무엇인가?
• RQ3 설명가능성을 어떻게 운용화하고 평가하여 ML 도구의 임상 번역을 지원할 수 있는가?
• RQ4 임상 설명가능성 방법의 유용성과 신뢰성을 가장 잘 평가하는 지표는 무엇인가?

주요 결과

• 임상의는 설명가능성을 기존 의학적 증거 및 진료 맥락 내에서 예측을 정당화하는 수단으로 본다.
• 개인 수준과 집단 수준의 특징 중요도는 신뢰 형성과 임상 판단과의 일치를 위해 매우 중요하다.
• 사례 수준의 설명(예: 유사한 사례 제시)은 맥락 의존적이며 시간 제약이 큰 ICU/ED 환경에서는 덜 유용하다.
• 불확실성과 신뢰도 점수는 경보 피로를 관리하고 임상 행동에 기대를 맞추기 위한 설명의 일부로 가치 있게 여겨진다.
• 시간적 설명과 투명한 설계(예: 의사결정 과정을 보여 주는 것)는 중요하지만 고압 환경에서 인지 과부하를 피하기 위한 주의가 필요하다.
• 본 연구는 향후 임상 ML 연구 및 배치를 안내하기 위한 구체적인 설명 클래스와 평가 지표를 제공한다.