[논문 리뷰] Multi-class Semantic Segmentation of Skin Lesions via Fully Convolutional Networks

Manu S. Goyal, Moi Hoon Yap외 1명|arXiv (Cornell University)|2017. 11. 28.

Cutaneous Melanoma Detection and ManagementMedicine인용 수 20

한 줄 요약

이 논문은 두 단계의 전이 학습과 하이브리드 손실 함수를 사용한 완전 컨volution 네트워크(FCNs)를 활용한 피부 병변에 대한 엔드 투 엔드 다중 클래스 의미 분할 프레임워크를 제안한다. 이는 클래스 불균형 문제를 해결하기 위한 것이다. ISIC-2017 테스트 세트에서 나에비의 딱도 스코어는 78.5%, 메라노마는 65.3%, 세보레이지 키라토시스는 55.7%를 기록했으며, 후처리를 거친 후 메라노마 진단 정확도는 84.62%에 도달했다.

ABSTRACT

Melanoma is clinically difficult to distinguish from common benign skin lesions, particularly melanocytic naevus and seborrhoeic keratosis. The dermoscopic appearance of these lesions has huge intra-class variations and high inter-class visual similarities. Most current research is focusing on single-class segmentation irrespective of classes of skin lesions. In this work, we evaluate the performance of deep learning on multi-class segmentation of ISIC-2017 challenge dataset, which consists of 2,750 dermoscopic images. We propose an end-to-end solution using fully convolutional networks (FCNs) for multi-class semantic segmentation to automatically segment the melanoma, seborrhoeic keratosis and naevus. To improve the performance of FCNs, transfer learning and a hybrid loss function are used. We evaluate the performance of the deep learning segmentation methods for multi-class segmentation and lesion diagnosis (with post-processing method) on the testing set of the ISIC-2017 challenge dataset. The results showed that the two-tier level transfer learning FCN-8s achieved the overall best result with \ extit{Dice} score of 78.5% in a naevus category, 65.3% in melanoma, and 55.7% in seborrhoeic keratosis in multi-class segmentation and Accuracy of 84.62% for recognition of melanoma in lesion diagnosis.

연구 동기 및 목표

• 높은 내부 클래스 변동성과 상위 클래스 간 시각적 유사성으로 인해 다중 클래스 의미 분할이 어려운 피부 병변 문제를 해결하기 위해.
• 메라노마와 세보레이지 키라토시스 카테고리의 데이터 부족 문제를 두 단계의 전이 학습을 통해 극복하기 위해.
• 새로운 하이브리드 손실 함수를 통해 불균형 데이터셋에서의 분할 성능 향상을 위해.
• 후처리를 통한 다중 클래스 분할 및 병변 진단에 대한 딥 러닝 모델의 효과를 평가하기 위해.
• 피부과 분야에서 다중 클래스 의료 영상 분할의 새로운 베이스라인을 설정하기 위해.

제안 방법

• 세 가지 피부 병변 유형의 픽셀 단위 분류를 위해 FCN-AlexNet, FCN-32s, FCN-16s, FCN-8s를 포함한 완전 컨volution 네트워크(FCNs)를 사용한다.
• 두 단계의 전이 학습을 적용한다: ImageNet에서의 사전 학습 후 ISIC-2017 데이터셋에서의 미세 조정을 통해 특징 학습을 향상시킨다.
• 교차 엔트로피 손실과 딱도 손실을 조합한 하이브리드 손실 함수를 설계하여 분할 작업에서의 클래스 불균형 문제를 완화한다.
• 모든 도르모스코픽 영상을 500×375 픽셀로 리사이징하여 입력 표준화 및 계산 비용 절감을 도모한다.
• 우선순위 기반 후처리 전략을 적용한다: 악성 병변(메라노마)이 양성 병변(SK 및 나에비)보다 우선순위가 높으며, 클래스 우선순위는 훈련 세트 크기에 기반한다.
• Dice 스코어, MCC, 민감도, 정확도 지표를 사용하여 ISIC-2017 테스트 세트에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 높은 시각적 유사성으로 인해 클래스 간 유사성이 높은 피부 병변에 대해 완전 컨volution 네트워크가 효과적으로 다중 클래스 의미 분할을 수행할 수 있는가?
• RQ2 두 단계의 전이 학습은 제한된 의료 영상 데이터셋에서 분할 성능 향상에 어떻게 기여하는가?
• RQ3 하이브리드 손실 함수는 피부 병변 분할에서 클래스 불균형으로 인한 성능 저하를 어느 정도 완화하는가?
• RQ4 하위 최적의 분할 성능를 보이는 일부 클래스에 대해서도 후처리 전략이 병변 진단 정확도를 크게 향상시킬 수 있는가?
• RQ5 다중 클래스 피부 병변 분석에서 분할 정확도와 진단 정확도 사이의 성능 격차는 어느 정도인가?

주요 결과

• 두 단계의 전이 학습을 적용한 FCN-8s 모델이 전체적으로 가장 높은 성능를 기록했으며, ISIC-2017 테스트 세트에서 나에비의 딱도 스코어는 78.5%, 메라노마는 65.3%, 세보레이지 키라토시스는 55.7%였다.
• FCN-AlexNet는 나에비 클래스에서 가장 높은 딱도 스코어(0.819)와 MCC(0.814)를 기록하여 가장 흔한 클래스에 대해 강력한 성능를 보였다.
• 낮은 분할 스코어에도 불구하고, 후처리 방법을 통해 테스트 세트에서 메라노마 진단 정확도가 84.62%에 도달했으며, 이는 진단 수준의 정밀 조정의 가치를 입증했다.
• 세보레이지 키라토시스 진단 정확도는 74.44%를 기록하여 데이터 부족이 모델 일반화 능력에 미치는 영향을 보여주었다.
• 모든 클래스의 전체 진단 정확도는 80.83%였으며, 이는 실제 임상 진단 상황에서 후처리 전략의 강건성을 시사했다.
• 나에비 이미지(1,843장)에 비해 훈련 샘플 수가 제한된 메라노마(521장)와 세보레이지 키라토시스(386장)의 경우 분할 성능가 유의미하게 낮았다.