[논문 리뷰] Assessing Robustness of Deep learning Methods in Dermatological Workflow

Sourav Mishra, Subhajit Chaudhury외 2명|arXiv (Cornell University)|2020. 01. 15.

Cutaneous Melanoma Detection and Management참고 문헌 27인용 수 7

한 줄 요약

이 연구는 실생활 사용자가 제출한 이미지를 활용하여 피부과 진단에서 딥러닝 모델의 강인성을 평가하며, 노이즈 및 흐림과 같은 비이상적인 조건을 시뮬레이션한다. 청소된 데이터에서 뛰어난 성능를 보였지만, 실제 임상 조건에서는 정확도가 최소 10% 이상 감소하여 일반화 능력에 대한 심각한 한계와 의료 AI 워크플로우에서 계속해서 임상의의 감시가 필요하다는 점을 드러낸다.

ABSTRACT

This paper aims to evaluate the suitability of current deep learning methods for clinical workflow especially by focusing on dermatology. Although deep learning methods have been attempted to get dermatologist level accuracy in several individual conditions, it has not been rigorously tested for common clinical complaints. Most projects involve data acquired in well-controlled laboratory conditions. This may not reflect regular clinical evaluation where corresponding image quality is not always ideal. We test the robustness of deep learning methods by simulating non-ideal characteristics on user submitted images of ten classes of diseases. Assessing via imitated conditions, we have found the overall accuracy to drop and individual predictions change significantly in many cases despite of robust training.

연구 동기 및 목표

• 실생활 이미지 조건(노이즈 및 흐림 포함)에서 딥러닝 모델의 피부과 진단 강인성을 평가하기.
• 분포 이탈 및 분포 외 샘플이 임상 워크플로우에서 모델 성능에 미치는 영향을 조사하기.
• 다중 클래스 피부과 분류에서 주의 메커니즘을 활용해 모델 편향과 오분류 패턴 분석하기.
• 다양한 소스에서 기인한 사용자 제출 이미지에 적용된 현재의 딥러닝 접근법의 한계 규명하기.
• 의료 영상 인식에서 강인성 평가를 위한 소스 코드를 공개함으로써 재현 가능성 향상하기.

제안 방법

• 식별 가능한 특징을 제외한 다양한 출처에서 1,000점 이상의 피부과 영상 수집 및 정제하고, 전문의가 라벨링.
• 10종의 피부질환 클래스(아쿠네, 탈모, 물집, 왕진, 홍반, 백색화, 색소성 매크류, 종양, 궤양, 빨래)에 대해 딥러닝 분류기 훈련.
• 사용자 제출 이미지에 대해 촬영 노이즈 및 운동 흐림을 시뮬레이션하여 모델 강인성 테스트.
• 유사 질환 클래스 및 분포 외 샘플을 활용해 분포 이탈 상황에서 성능 평가.
• 주의 맵(attention maps)을 활용해 모델 결정을 해석하고 아쿠네 및 물집과 같은 특정 클래스에 대한 편향 식별.
• 청소된 데이터와 열악한 데이터에서의 성능 비교를 위한 아블레이션 연구 수행하여 실제 임상 조건에서의 성능 저하 정량화.

실험 결과

연구 질문

• RQ1 피부과 영상 분류에서 일반적인 영상 오염 요소(촬영 노이즈 및 운동 흐림)가 딥러닝 성능에 미치는 영향은 무엇인가?
• RQ2 특히 유사 질환 클래스 간의 분포 이탈이 모델 일반화 및 정확도에 어느 정도의 영향을 미치는가?
• RQ3 다중 클래스 피부과 분류에서 모델 편향의 주요 원인은 무엇이며, 주의 맵에서 어떻게 나타나는가?
• RQ4 이deal 조건에서 훈련된 딥러닝 모델이 품질이 다양하고 실생활 사용자 제출 이미지를 배포할 경우에도 신뢰할 수 있는 성능를 유지할 수 있는가?
• RQ5 청소된 정제된 데이터와 비이상적이나 임상적으로 대표적인 데이터 간의 딥러닝 모델 성능는 어떻게 비교되는가?

주요 결과

• 비이상적이고 사용자 제출 이미지에서 모델의 Top-1 정확도는 32%로 하락하여 실생활 조건에서 심각한 성능 격차 존재함을 시사.
• 아쿠네와 탈모만이 각각 70% 이상 정확도(70% 및 73%)를 달성하였고, 나머지 대부분은 상당히 낮은 성능 보여.
• 분류기 편향이 아쿠네 및 물집을 강하게 선호하며, 오분류 패턴으로 특정 시각적 특징에 대한 과도한 의존성 나타냄.
• 시뮬레이션된 노이즈 및 흐림 조건에서 성능가 최소 10% 이상 저하되어 일반적인 영상 오염 요소에 대한 강인성이 떨어짐.
• 유사 질환 클래스(예: 궤양 및 왕진)의 복합 샘플에서 테스트한 결과 정확도 급격히 감소, 전이성 또는 겹치는 병리학적 소견을 구분하는 데 어려움 존재함.
• 주의 맵 분석 결과 모델이 분류에 기여하지 않는 특징에 집중함을 확인하여, 훈련 데이터 패턴을 초월한 일반화 능력에 한계 있음.