[논문 리뷰] Segmentation of Skin Lesions and their Attributes Using Multi-Scale Convolutional Neural Networks and Domain Specific Augmentations

Mostafa Jahanifar, Neda Zamani Tajeddin외 3명|arXiv (Cornell University)|2018. 09. 23.

Cutaneous Melanoma Detection and Management참고 문헌 57인용 수 23

한 줄 요약

이 논문은 전이 학습 기반의 다중 스케일 U-Net 아키텍처와 도메인 특화 데이터 증강 기법을 활용하여 피부 병변과 그들의 도마스코픽 특징(예: 색소망, 구형체, 줄무늬)의 정밀 분할을 제안한다. 사전 훈련된 인코더, 피라미드 풀링, 실제 도마스코픽 잡음과 유사한 고유한 증강 기법을 활용함으로써, ISIC 2016, 2017, 2018 챌린지에서 최신 기술 수준의 성능을 달성하였으며, ISIC2018 특징 검출 과제에서 AUC 0.975로 1위를 기록하였다.

ABSTRACT

Computer-aided diagnosis systems for classification of different type of skin lesions have been an active field of research in recent decades. It has been shown that introducing lesions and their attributes masks into lesion classification pipeline can greatly improve the performance. In this paper, we propose a framework by incorporating transfer learning for segmenting lesions and their attributes based on the convolutional neural networks. The proposed framework is based on the encoder-decoder architecture which utilizes a variety of pre-trained networks in the encoding path and generates the prediction map by combining multi-scale information in decoding path using a pyramid pooling manner. To address the lack of training data and increase the proposed model generalization, an extensive set of novel domain-specific augmentation routines have been applied to simulate the real variations in dermoscopy images. Finally, by performing broad experiments on three different data sets obtained from International Skin Imaging Collaboration archive (ISIC2016, ISIC2017, and ISIC2018 challenges data sets), we show that the proposed method outperforms other state-of-the-art approaches for ISIC2016 and ISIC2017 segmentation task and achieved the first rank on the leader-board of ISIC2018 attribute detection task.

연구 동기 및 목표

• 병변 및 특징 마스크를 분류 파이프라인에 통합하여 피부 병변 및 특징 분할 정확도를 향상시키는 것.
• 도메인 이동과 데이터 부족 문제를 해결하기 위해 새로운 임상 기반 데이터 증강 기법을 제안하는 것.
• 전이 학습과 다중 스케일 특징 융합을 활용하여 강건하고 일반화 능력이 뛰어난 분할 프레임워크를 개발하는 것.
• 병변 및 특징 분할 과제에서 기준 ISIC 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 사전 훈련된 백본(예: DenseNet169)을 활용한 인코더-디코더 U-Net 아키텍처를 사용하여 특징 추출을 수행한다.
• 디코더 경로에서 다중 스케일 컨볼루션 블록과 피라미드 풀링을 활용하여 세밀한 및 거친 공간적 세부 정보를 모두 포착한다.
• 실시간 적용 가능한 도메인 특화 데이터 증강 기법을 활용하며, 헤어 오버래핑, 대비/선명도 조정, 조명 기울기 왜곡 등이 포함된다.
• 과적합을 줄이고 하이퍼파라미터 최적화를 위해 5겹 교차 검증을 사용하여 모델을 훈련한다.
• 예측의 강건성과 일관성을 향상시키기 위해 테스트 시 증강 및 모델 앙상블을 활성화한다.
• 원시 모델 출력을 이진 분할 마스크로 변환하기 위해 최적의 임계값 설정을 적용한다.

실험 결과

연구 질문

• RQ1 병변 및 특징 마스크를 통합함으로써 피부 병변 분류 시스템의 성능 향상이 가능한가?
• RQ2 도메인 특화 데이터 증강 기법은 도마스코픽 영상 분할의 강건성 향상에 얼마나 효과적인가?
• RQ3 사전 훈련된 모델과 다중 스케일 특징 융합을 활용한 전이 학습이 기존 방법보다 병변 및 특징 분할 과제에서 뛰어난 성능을 낼 수 있는가?
• RQ4 특정 증강 기법이 희귀하거나 저대비 특징(예: 음성망, 줄무늬)에 대한 모델 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 ISIC 2016 및 ISIC 2017 병변 분할 과제에서 최신 기술 수준의 성능를 달성하였다.
• ISIC 2018 특징 검출 챌린지에서 1위를 기록하여 다양한 특징 유형에 걸쳐 뛰어난 일반화 능력을 입증하였다.
• 도메인 특화 증강 기법의 적용으로 음성망 특징에 대해 AUC가 1.3% 향상되어 0.975에 도달하였다. 이는 특히 도전적이며 희귀한 구조이다.
• 색소망, 구형체, 줄무늬와 같은 작은 저대비 특징에 대해서도 타겟팅된 증강 덕분에 높은 성능를 기록하였다.
• 테스트 시 증강 및 모델 앙상블는 예측 신뢰도와 강건성을 추가로 향상시켰다.
• 모델 당 수렴이 70 에포크 이내에 이루어져, 무작위 초기화에서 훈련하는 것에 비해 훈련 시간을 크게 단축시켰다.