[논문 리뷰] Incorporating the Knowledge of Dermatologists to Convolutional Neural Networks for the Diagnosis of Skin Lesions

Iván González-Díaz|arXiv (Cornell University)|2017. 03. 06.

Cutaneous Melanoma Detection and Management참고 문헌 4인용 수 68

한 줄 요약

이 논문은 병변 분할을 통해 피부과 의사 지식을 통합한 CNN 기반 시스템을 제시하며, 구조 인지 약한 지도 분할과 전문적 풀링/조절 블록으로 진단 파이프라인에 구조 정보를 융합하여 nevus, melanoma, seborrheic keratosis를 진단한다. 데이터를 보강하고 진단 파이프라인에 구조 정보를 융합하기 위한 새로운 블록을 사용한다.

ABSTRACT

This report describes our submission to the ISIC 2017 Challenge in Skin Lesion Analysis Towards Melanoma Detection. We have participated in the Part 3: Lesion Classification with a system for automatic diagnosis of nevus, melanoma and seborrheic keratosis. Our approach aims to incorporate the expert knowledge of dermatologists into the well known framework of Convolutional Neural Networks (CNN), which have shown impressive performance in many visual recognition tasks. In particular, we have designed several networks providing lesion area identification, lesion segmentation into structural patterns and final diagnosis of clinical cases. Furthermore, novel blocks for CNNs have been designed to integrate this information with the diagnosis processing pipeline.

연구 동기 및 목표

• 피부 병변의 CNN 기반 진단에 전문 피부과 의사 지식을 도입한다.
• 병변 분할 및 구조 위치화를 활용하여 최종 진단을 안내한다.
• 병변의 변이성을 다루기 위한 데이터 보강 및 좌표 인식 처리 방법을 개발한다.
• 구조 정보를 진단으로 융합하는 특화된 네트워크 블록을 만든다.

제안 방법

• Dermoscopic 이미지로부터 이진 병변 마스크를 얻기 위한 Lesion Segmentation Network(FCN)을 사용한다.
• 케이스당 24개의 회전/크롭 뷰를 생성하고 각 뷰에 대해 Normalized Polar Coordinates(RPC)를 계산하기 위해 Data Augmentation Module을 적용한다.
• 약한 라벨에 제약 최적화를 통해 피부과 전문의가 관련된 여덟 가지 패턴을 약한 라벨로 약하게 라벨링하는 Structure Segmentation Network를 도입한다.
• 세 가지 처리 팔로 구성된 ResNet-50 기반 Diagnosis Network을 수정한다: (i) 표준 평균 풀링, (ii) Normalized Polar Pooling, (iii) 비대칭 기반 팔, Sum 블록으로 융합한다.
• CNN 특징과 구조 맵을 융합하고 병변 영역에서 극좌표 기반 풀링을 수행하기 위한 Modulation, Polar Pooling 및 Asymmetry 블록을 개발한다.
• 최종 진단은 뷰 간 독립성을 통해 각 뷰의 결과를 인력적으로 결합하여 케이스 수준 진단을 얻도록 한다.

실험 결과

연구 질문

• RQ1 의료진이 도출한 병변 구조가 CNN 기반 피부 병변 분류에 도움을 줄 수 있는가?
• RQ2 약한 지도 학습 구조 분할이 최종 진단에 유용한 지침을 제공하는가?
• RQ3 극성/회전 불변성 및 비대칭성 지표가 Dermoscopic 이미지의 진단 성능을 향상시키는가?
• RQ4 구조 맵을 진단 네트워크에 융합하는 것이 분류 결과에 어떤 영향을 미치는가?
• RQ5 다중 뷰 집계가 단일 뷰 예측보다 강건성을 향상시키는가?

주요 결과

• 시스템은 분할 및 구조 정보를 진단으로 융합하는 다지사 분기 아키텍처를 수행한다.
• 데이터 보강은 케이스당 24개의 뷰를 생성하여 회전에 대한 강건한 특징으로 학습 및 테스트를 풍부하게 한다.
• 여덟 개의 구조 맵이 뷰당 약한 라벨과 제약 최적화를 통해 학습되며, 모듈레이션 블록에 통합된다.
• 진단 네트워크는 세 가지 풀링/처리 팔(표준, 극성, 비대칭)을 사용하여 최종 예측을 도출한다.
• 뷰 간 독립성을 통해 뷰별 출력을 최종 케이스 수준 진단으로 합성한다.