[논문 리뷰] The Skincare project, an interactive deep learning system for differential diagnosis of malignant skin lesions. Technical Report

Daniel Sonntag, Fabrizio Nunnari외 1명|arXiv (Cornell University)|2020. 05. 19.

Cutaneous Melanoma Detection and Management참고 문헌 41인용 수 4

한 줄 요약

스킨케어 프로젝트는 악성 피부 병변의 차별 진료를 위한 상호작용형 딥러닝 시스템을 제시하며, 피부 내시경 영상과 스마트폰 매크로스코픽 영상을 통합하여 임상의와 환자를 지원한다. 이 시스템은 주의 맵, 세그멘테이션, 특징 추출을 통해 실시간으로 설명 가능한 AI 기반 진료를 가능하게 하며, 20,000건의 익명화된 ISIC 사례에서 검증된 모델을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A shortage of dermatologists causes long wait times for patients who seek dermatologic care. In addition, the diagnostic accuracy of general practitioners has been reported to be lower than the accuracy of artificial intelligence software. This article describes the Skincare project (H2020, EIT Digital). Contributions include enabling technology for clinical decision support based on interactive machine learning (IML), a reference architecture towards a Digital European Healthcare Infrastructure (also cf. EIT MCPS), technical components for aggregating digitised patient information, and the integration of decision support technology into clinical test-bed environments. However, the main contribution is a diagnostic and decision support system in dermatology for patients and doctors, an interactive deep learning system for differential diagnosis of malignant skin lesions. In this article, we describe its functionalities and the user interfaces to facilitate machine learning from human input. The baseline deep learning system, which delivers state-of-the-art results and the potential to augment general practitioners and even dermatologists, was developed and validated using de-identified cases from a dermatology image data base (ISIC), which has about 20000 cases for development and validation, provided by board-certified dermatologists defining the reference standard for every case. ISIC allows for differential diagnosis, a ranked list of eight diagnoses, that is used to plan treatments in the common setting of diagnostic ambiguity. We give an overall description of the outcome of the Skincare project, and we focus on the steps to support communication and coordination between humans and machine in IML. This is an integral part of the development of future cognitive assistants in the medical domain, and we describe the necessary intelligent user interfaces.

연구 동기 및 목표

• 피부과 전문의 부족과 환자 대기 시간을 줄이기 위해 AI 보조 진료 도구를 개발한다.
• 딥러닝 기반 결론 지원을 통해 일반의의 진료 정확도를 향상시킨다.
• 사람의 피드백을 통합하여 모델 예측을 개선하는 상호작용형 기계학습 시스템을 구축한다.
• 임상 적용 및 디지털 헬스케어 인fra구조에 통합 가능한 확장성 있는, API 기반 아키텍처를 개발한다.
• 이미지 데이터와 임상 기록을 통합하여 환자 전반적인 평가를 가능하게 하여 진료 추론을 향상시킨다.

제안 방법

• ISIC 데이터셋에서 제공한 20,000건의 익명화된 피부 내시경 영상으로 훈련된 딥러닝 모델을 사용하며, 8종의 피부 질환을 포함한다.
• 주요 관심 영역과 모델의 추론 과정을 시각화함으로써 해석 가능성을 향상시키기 위해 주의 맵을 활용한다.
• 다양한 입력 모odal리티를 지원: 피부 내시경 영상(미세망원)과 보다 광범위한 접근성을 확보하기 위한 매크로스코픽 스마트폰 영상.
• 이진 분류(양성 대 악성), 병변 세그멘테이션, 특징별 세그멘테이션(예: 구형체, 줄무늬)를 위한 엔드포인트를 제공하는 REST API를 구현한다.
• GUI에 종속되지 않는 백엔드와 웹 기반 인터페이스를 통합하여 임상의가 예측을 상호작용적으로 레이블링하고 수정하며, 성능 향상을 위한 피드백을 제공할 수 있도록 한다.
• 확장성과 배포를 위해 구성 가능한 서버, 모델 가중치, 정적 HTML 콘텐츠를 포함한 모듈러 소프트웨어 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 상호작용형 딥러닝 시스템은 주요 진료 환경에서 피부암 진료 정확도를 향상시킬 수 있는가?
• RQ2 주의 맵과 같은 설명 가능한 AI 기법은 임상 의사결정 지원에서 신뢰도와 사용성 향상에 어떻게 기여하는가?
• RQ3 매크로스코픽 영상과 피부 내시경 영상을 결합할 경우, 차별 진료 정확도 향상에 어느 정도 기여하는가?
• RQ4 사람이 시스템에 참여하는 피드백은 임상 AI 시스템에 효과적으로 통합되어 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ5 실제 임상 워크플로우에 적합한 확장 가능한 AI 도구 배포를 가능하게 하는 기술 아키텍처는 무엇인가?

주요 결과

• 20,000건의 익명화된 ISIC 사례로 훈련된 딥러닝 모델을 사용하여 8종의 피부 질환에 대해 차별 진료에서 최신 기술 수준의 성능을 달성한다.
• 주의 맵은 관련 병변 특징을 강조하는 해석 가능한 시각화를 제공하여 모델 예측에 대한 투명성과 임상의의 신뢰도를 향상시킨다.
• 시스템은 이진 분류(양성 대 악성)와 고정밀도의 병변 특징 세그멘테이션(예: 구형체, 줄무늬)을 모두 지원한다.
• REST API를 통해 표준 웹 프rotocol를 활용하여 임상 워크플로우에 원활하게 통합되며, 실시간 분류 및 특징 추출을 지원한다.
• 상호작용 학습 인터페이스를 통해 임상의는 예측을 수정하고 피드백을 제공할 수 있으며, 사람을 중심으로 한 학습을 통해 지속적인 모델 개선이 가능하다.
• 시스템은 확장성과 유연성을 고려해 설계되었으며, 모듈러 아키텍처를 통해 다양한 임상 및 비임상 환경에서의 배포를 지원한다.