[논문 리뷰] Visual Diagnosis of Dermatological Disorders: Human and Machine Performance

Jeremy Kawahara, Ghassan Hamarneh|arXiv (Cornell University)|2019. 06. 04.

Cutaneous Melanoma Detection and Management참고 문헌 90인용 수 7

한 줄 요약

이 논문은 임상적 및 도르모스코픽 피부 영상 자료를 사용하여 피부질환 진단에서 인간과 기계의 성능을 비교하며, 최근의 기계학습 모델이 원격피부과 진료 환경에서 피부과 전문의 수준의 진단 정확도를 달성하고 있음을 발견했다. 그러나 이미지 품질과 인구의 다양성 도전 과제에서 성능이 크게 떨어진다.

ABSTRACT

Skin conditions are a global health concern, ranking the fourth highest cause of nonfatal disease burden when measured as years lost due to disability. As diagnosing, or classifying, skin diseases can help determine effective treatment, dermatologists have extensively researched how to diagnose conditions from a patient's history and the lesion's visual appearance. Computer vision researchers are attempting to encode this diagnostic ability into machines, and several recent studies report machine level performance comparable with dermatologists. This report reviews machine approaches to classify skin images and consider their performance when compared to human dermatologists. Following an overview of common image modalities, dermatologists' diagnostic approaches and common tasks, and publicly available datasets, we discuss approaches to machine skin lesion classification. We then review works that directly compare human and machine performance. Finally, this report addresses the limitations and sources of errors in image-based skin disease diagnosis, applicable to both machines and dermatologists in a teledermatology setting.

연구 동기 및 목표

• 임상적 및 도르모스코픽 영상 자료를 사용하여 피부 병변을 분류하는 데 있어 피부과 전문의와 기계학습 모델의 진단 성능을 평가하고 비교하는 것.
• 인간과 기계 진단에 영향을 미치는 이미지 품질, 환자 병력 통합, 데이터셋 이식 가능성 등의 핵심 제약 조건을 규명하는 것.
• 기계학습 시스템이 실제 원격피부과 응용 분야에서 인간 수준의 진단 정확도를 달성할 수 있는지 평가하는 것.
• 나이, 위치, 가족력 등 비시각적 환자 데이터가 인간과 기계의 진단 성능에 미치는 영향을 검토하는 것.
• 임상 및 자동화 시스템 모두에 영향을 미치는 영상 기반 피부질환 진단의 오류 및 변동성의 원인을 부각하는 것.

제안 방법

• 임상적 및 도르모스코픽 영상 자료를 사용한 기계학습 기반 피부 병변 분류에 대한 체계적 검토.
• Derm750, ISIC, Dermofit 등의 공개 데이터셋 분석을 통해 이미지 확보 프로토콜과 레이블 품질에 집중.
• 피부 병변 영상에 대해 훈련된 딥 러닝 모델의 성능 평가를 위해 정확도, AUC, 상위 5개 오류율 등의 성능 지표 사용.
• 정적 영상 자료를 사용한 대면 진료 대비 원격피부과 진료 환경에서 피부과 전문의의 성능 비교.
• 나이, 성별, 병변 위치 등 비시각적 환자 데이터가 인간과 기계의 진단 정확도 향상에 미치는 역할 조사.
• 특히 소속 인종과 영상 표준에 따라 다름을 고려한 인구 및 영상 프로토콜 간 모델 이식 가능성 평가.

실험 결과

연구 질문

• RQ1 임상적 및 도르모스코픽 영상 자료에서 피부 병변을 분류할 때 기계학습 모델이 인간 피부과 전문의 수준의 진단 정확도를 달성할 수 있는가?
• RQ2 정적 영상 자료를 사용한 원격피부과 진료와 대면 진료 간 진단 성능는 어떻게 다를까?
• RQ3 나이, 성별, 병변 위치 등의 비시각적 환자 데이터가 피부과 전문의와 기계 모델의 진단 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 인구 집단 간 피부 병변의 외관 차이가 기계학습 모델의 이식 가능성과 일반화 능력에 어느 정도 영향을 미치는가?
• RQ5 영상 기반 피부질환 진단에서 주요 오류 원인은 무엇이며, 이는 인간과 기계의 성능에 어떻게 영향을 미치는가?

주요 결과

• 기계학습 모델은 제어된 원격피부과 진료 환경에서 피부과 전문의 수준의 진단 정확도를 달성하며, 일부 연구에서는 전문가 피부과 전문의 수준과 1~2%p 이내의 성능을 보였다.
• 피부과 전문의의 진단 정확도는 대면 진료 대비 원격피부과 진료에서 뚜렷이 떨어지며, 39%의 경우 진단에 적합한 이미지 품질이 부족했다.
• 한 인구 집단(예: 아시아계)에서 훈련된 기계 모델은 다른 인구 집단(예: 유럽계)에서 테스트할 경우 정확도가 떨어지며(55.7%), 이는 인구 간 이식 가능성 부족을 시사한다.
• 비시각적 환자 데이터는 경험이 적은 임상의의 진단 성능 향상에 도움이 되지만 숙련된 피부과 전문의에게는 영향이 미미하여 기술 수준에 따라 활용도가 다름을 시사한다.
• 인간의 피부질환 분류 상위 5개 오류율은 높으며(이미지넷의 5.1~12% 오류율과 비교하여 암시됨), 복잡한 피부질환 간의 구분에 큰 어려움이 있음을 나타낸다.
• 훈련 데이터셋의 기준값 오류와 실제 환경에서의 저품질 이미지 확보가 오류를 누적시켜 인간 및 기계 진단의 신뢰도를 감소시킨다.