[논문 리뷰] Semantic Segmentation of Skin Lesions using a Small Data Set

Beril Sırmaçek, Max Kivits|arXiv (Cornell University)|2019. 10. 23.

Cutaneous Melanoma Detection and Management참고 문헌 16인용 수 4

한 줄 요약

이 논문은 스마트폰으로 촬영한 41장의 이미지로 구성된 소규모 데이터셋을 사용하여 피부 병변에 대한 의미적 세그멘테이션 방법을 제안한다. 전이 학습을 통해 사전 훈련된 VGG16에서 가져온 가중치를 사용한 완전 컨볼루션 네트워크(FCN16/FCN32)와 함께 이미지 자르기 및 증강 기법을 적용할 경우, 제한된 데이터 조건에서도 최적의 성능을 달성하며, 무작위 초기화나 간단한 아키텍처보다 정확도, IoU, F1 스코어에서 뛰어난 성능을 보인다.

ABSTRACT

Early detection of melanoma is difficult for the human eye but a crucial step towards reducing its death rate. Computerized detection of these melanoma and other skin lesions is necessary. The central research question in this paper is "How to segment skin lesion images using a neural network with low available data?". This question is divided into three sub questions regarding best performing network structure, training data and training method. First theory associated with these questions is discussed. Literature states that U-net CNN structures have excellent performances on the segmentation task, more training data increases network performance and utilizing transfer learning enables networks to generalize to new data better. To validate these findings in the literature two experiments are conducted. The first experiment trains a network on data sets of different size. The second experiment proposes twelve network structures and trains them on the same data set. The experimental results support the findings in the literature. The FCN16 and FCN32 networks perform best in the accuracy, intersection over union and mean BF1 Score metric. Concluding from these results the skin lesion segmentation network is a fully convolutional structure with a skip architecture and an encoder depth of either one or two. Weights of this network should be initialized using transfer learning from the pre trained VGG16 network. Training data should be cropped to reduce complexity and augmented during training to reduce the likelihood of overfitting.

연구 동기 및 목표

• 제한된 애너테이션 데이터만 존재할 때 피부 병변에 대한 정확한 의미적 세그멘테이션 모델을 훈련시키는 데 도전하는 것.
• 낮은 데이터 환경에서 훈련 데이터 크기, 네트워크 아키텍처, 훈련 방법이 세그멘테이션 성능에 미치는 영향을 조사하는 것.
• 강건한 피부 병변 세그멘테이션을 위한 최적의 네트워크 구조, 가중치 초기화 방법, 및 데이터 전처리 조합을 규명하는 것.
• 최소한의 훈련 데이터로도 정밀한 픽셀 수준의 병변 국소화를 가능하게 하여 초기 메라노마 탐지 성능을 향상시키는 것.

제안 방법

• 스마트폰 카메라로 촬영한 41장의 피부 병변 이미지로 구성된 소규모 데이터셋에서 완전 컨볼루션 네트워크(FCN16, FCN32, FCN8 및 SGN 변종)를 훈련시켰다.
• 사전 훈련된 VGG16 네트워크의 특징을 사용해 가중치를 부분적으로 초기화함으로써 전이 학습을 적용하여 일반화 성능을 향상시켰다.
• 효율적인 훈련 데이터 증가 및 복잡도 감소를 위해 데이터 증강 및 이미지 자르기 기법을 적용했다.
• 과적합 방지를 위해 조기 정지 정규화 기법을 사용하여 훈련 시간을 단축시켰다.
• IoU, 정확도, F1 스코어 등의 지표를 사용해 다양한 네트워크 아키텍처 및 훈련 전략 간 성능을 비교했다.
• 비교 분석 및 일반화 평가를 위해 추가로 두 개의 공개 데이터셋(126장 및 10장)을 사용했다.

실험 결과

연구 질문

• RQ1 훈련 데이터셋의 크기가 피부 병변 의미적 세그멘테이션의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ2 제한된 데이터로 피부 병변의 의미적 세그멘테이션에 가장 뛰어난 성능을 내는 신경망 아키텍처는 무엇인가?
• RQ3 훈련 방법의 선택—특히 전이 학습 대비 무작위 가중치 초기화—성능과 훈련 효율성에 어떤 영향을 미치는가?
• RQ4 훈련 데이터가 희소할 경우 모델 성능을 향상시키는 데 효과적인 전처리 기법은 무엇인가?

주요 결과

• FCN32 및 FCN16 네트워크가 정확도, 교차율(Intersection over Union, IoU), 평균 F1 스코어 등 모든 지표에서 최고의 성능을 기록했다.
• 사전 훈련된 VGG16에서 부분적으로 초기화된 가중치를 사용한 전이 학습은 무작위 초기화보다 특이적 및 일반화된 세그멘테이션 성능을 크게 향상시켰다.
• 전이 학습을 적용한 네트워크는 훈련 시간이 상당히 단축되었고, 특히 새로운 데이터에 대한 일반화 능력이 뛰어났다.
• 훈련 이미지 자르기 기법이 모델의 일반화 능력을 향상시켰으며, 자르기된 데이터로 훈련된 SGN3 네트워크가 새로운 샘플에 대해 뛰어난 성능을 보였다.
• 각 인코딩 블록 내에서 컨볼루션 층의 수를 늘리는 것이 인코더의 깊이를 늘리는 것보다 성능 향상에 더 효과적이었다.
• 깊고 낮은 수준의 특징과 고수준의 처리된 특징을 결합하는(skip connection) 아키텍처가 더 처리된 특징과 결합하는 것보다 뛰어난 성능을 보였다.