[논문 리뷰] Explainable Medical Imaging AI Needs Human-Centered Design: Guidelines and Evidence from a Systematic Review

Haomin Chen, Catalina Gómez외 2명|arXiv (Cornell University)|2021. 12. 21.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 논문은 투명한 기계학습에서의 사용자 중심 개발 부족 문제를 해결하기 위해 설명 가능한 의료 영상 AI를 위한 인간 중심 설계 프레임워크인 INTRPRT 지침을 제안한다. 형태적 사용자 연구와 반복적 평가를 통합함으로써, AI 시스템이 실제로 투명성을 제공하고 임상적으로 관련성이 있으며 신뢰할 수 있도록 할 가능성을 높인다.

ABSTRACT

Transparency in Machine Learning (ML), attempts to reveal the working mechanisms of complex models. Transparent ML promises to advance human factors engineering goals of human-centered AI in the target users. From a human-centered design perspective, transparency is not a property of the ML model but an affordance, i.e. a relationship between algorithm and user; as a result, iterative prototyping and evaluation with users is critical to attaining adequate solutions that afford transparency. However, following human-centered design principles in healthcare and medical image analysis is challenging due to the limited availability of and access to end users. To investigate the state of transparent ML in medical image analysis, we conducted a systematic review of the literature. Our review reveals multiple severe shortcomings in the design and validation of transparent ML for medical image analysis applications. We find that most studies to date approach transparency as a property of the model itself, similar to task performance, without considering end users during neither development nor evaluation. Additionally, the lack of user research, and the sporadic validation of transparency claims put contemporary research on transparent ML for medical image analysis at risk of being incomprehensible to users, and thus, clinically irrelevant. To alleviate these shortcomings in forthcoming research while acknowledging the challenges of human-centered design in healthcare, we introduce the INTRPRT guideline, a systematic design directive for transparent ML systems in medical image analysis. The INTRPRT guideline suggests formative user research as the first step of transparent model design to understand user needs and domain requirements. Following this process produces evidence to support design choices, and ultimately, increases the likelihood that the algorithms afford transparency.

연구 동기 및 목표

• 설명 가능한 의료 영상 AI에서 사용자 중심 설계의 중대한 격차를 해결하기 위해, 현재 연구가 계산 가능성에 초점을 맞추며 임상적 사용성은 간과하고 있음을 다루기 위함.
• 의료 영상 분야의 투명한 머신러닝 모델 개발에서 형태적 사용자 연구와 경험적 검증의 부족을 규명하기 위함.
• 사용자 중심 원칙을 초기 단계부터 통합하는 체계적인 설계 프레임워크인 INTRPRT를 제안하기 위함.
• 완전한 경험적 평가가 어려운 환경에서도 인간 중심 설계의 도입을 지원하기 위해 실용적인 지침과 평가 대안을 제공하기 위함.
• 임상 이해관계자들이 이해할 수 있고 의미 있는 투명성을 확보함으로써 인간-기계 협업 성능을 향상시키기 위함.

제안 방법

• 2012년 1월부터 2021년 7월까지 PubMed, EMBASE, Compendex에서 수집한 68篇의 논문을 대상으로 체계적 문헌 고찰을 수행하여 현재의 투명한 의료 영상 AI 연구 관행을 평가함.
• 모델 해석 가능성에 사용된 주요 기법으로 Class Activation Maps (CAM), Grad-CAM, 및 기타 샐런시 기반 방법을 규명함.
• 형태적 사용자 연구, 맥락 이해, 이해관계자 참여를 통합한 구조적이고 반복적인 설계 과정인 INTRPRT 지침을 제안함.
• AI 설명이 임상 워크플로우와 사용자 정신 모델에 부합하도록 하기 위해 프로토타이핑과 반복적 설계의 필요성을 강조함.
• 임상 환경에서의 실현 가능성을 고려해, 전체 경험적 사용자 평가 대신 전문가 인터뷰 및 히ュ리스틱 평가와 같은 대안을 제시함.
• 사용자 이해, 솔루션 설계, 프로토타이핑, 이해관계자와의 검증이라는 인간 중심 설계의 핵심 단계에 걸쳐 INTRPRT 프레임워크를 매핑함.

실험 결과

연구 질문

• RQ1 현재의 설명 가능한 의료 영상 AI 연구에서, 모델 개발 과정 동안 형태적 사용자 연구가 어느 정도 통합되어 있는가?
• RQ2 의료 영상 분야의 투명한 머신러닝 모델의 설계 및 평가 관행이 인간 중심 설계 원칙과 얼마나 일치하는가?
• RQ3 방사선과 및 병리학 분야에서 설명 가능한 AI 시스템 개발에 임상 이해관계자를 통합하는 데 있어 주요 장애 요소는 무엇인가?
• RQ4 알고리즘적 설명 가능성을 넘어서, 사용자 중심 설계를 통해 의료 AI의 투명성을 어떻게 의미 있게 달성할 수 있는가?
• RQ5 고위험 의료 영상에서 임상적으로 관련성 있고 신뢰할 수 있는 설명 가능한 AI 시스템을 개발하기 위해 어떤 설계 프레임워크가 유용한가?

주요 결과

• 투명성 주장의 대부분이 경험적 사용자 평가를 통해 검증되지 않아, 사용성 테스트의 심각한 격차가 존재함을 시사함.
• 의료 결정의 고위험성에도 불구하고, 분석한 68개 연구 중 대부분이 개발 및 평가 단계에서 최종 사용자 요구를 최소한으로 고려함.
• 대부분의 투명한 머신러닝 모델이 임상적 관련성이나 사용자 이해보다는 계산 가능성에 주로 초점을 맞춰 개발됨.
• 임상 워크플로우와 사용자 기대를 이해하는 데 필수적인 형태적 사용자 연구가 분석한 68개 연구 전부에서 부재함.
• 투명한 AI의 주요 모odalities는 3D 영상(CT, MRI)과 월드슬라이드 이미지(WSI)였으며, 이는 복잡하고 시간이 오래 소요되는 임상 과제를 반영함.
• WSI에서 5개 분류의 분자형태 분류나 초해상도 MRI와 같은 응용 분야는 인간 기준이 없이 개발되었으며, 이는 설계 가정을 검증하기 위해 조기에 사용자 참여가 필요함을 강조함.