[논문 리뷰] Skin lesion segmentation and classification using deep learning and handcrafted features

Redha Ali, Hussin K. Ragb|arXiv (Cornell University)|2021. 12. 20.

Cutaneous Melanoma Detection and Management인용 수 6

한 줄 요약

이 논문은 사전 훈련된 CNN(ResNet-50 및 DenseNet-201)의 완전 연결층에 수작업으로 생성한 특징을 훈련 중에 통합하는 새로운 하이브리드 딥 러닝 프레임워크를 제안한다. 이는 피부 병변 분할 및 다중 분류 성능을 향상시키기 위한 것이다. 이 방법은 ISIC 2018 데이터셋에서 92.3%의 균형 잡힌 정확도를 기록하여 기준 모델보다 6.8% 높게 성과를 내며, 특징 통합이 분류 성능 향상에 기여한다는 것을 입증한다.

ABSTRACT

Accurate diagnostics of a skin lesion is a critical task in classification dermoscopic images. In this research, we form a new type of image features, called hybrid features, which has stronger discrimination ability than single method features. This study involves a new technique where we inject the handcrafted features or feature transfer into the fully connected layer of Convolutional Neural Network (CNN) model during the training process. Based on our literature review until now, no study has examined or investigated the impact on classification performance by injecting the handcrafted features into the CNN model during the training process. In addition, we also investigated the impact of segmentation mask and its effect on the overall classification performance. Our model achieves an 92.3% balanced multiclass accuracy, which is 6.8% better than the typical single method classifier architecture for deep learning.

연구 동기 및 목표

• 딥 러닝과 수작업 특징의 새로운 융합을 통해 병변 분류 정확도를 향상시키기 위한 것이다.
• 기존에 탐색되지 않은 새로운 기법인 훈련 중에 수작업 특징을 CNN의 완전 연결층에 통합하는 영향을 조사하기 위한 것이다.
• 피부암 진단 파이프라인에서 분할 마스크가 종합적인 분류 성능에 미치는 영향을 평가하기 위한 것이다.
• 단일 방법 특징 기반 접근 방식을 초월해 분류 능력을 향상시키는 계산적으로 효율적인 하이브리드 모델을 개발하기 위한 것이다.
• 다중 분류 피부 병변 분류에 대해 앙상블 학습을 활용한 하이브리드 모델의 효과성을 입증하기 위한 것이다.

제안 방법

• 저자는 '하이브리드 특징'을 도입하여 딥 러닝 특징과 수작업 특징(예: 색상, 질감, 형태)을 융합하여 특징의 분류 능력을 향상시킨다.
• 사전 훈련된 CNN(ResNet-50 및 DenseNet-201)의 완전 연결층에 수작업 특징을 역전파 동안 직접 통합하는 새로운 훈련 전략을 제안한다.
• 데이터 전처리 과정으로는 도구의 색상 일관성 조정 기법(Shades of Gray, p=6)을 사용하여 병변 영상 간 조명 변화를 정규화한다.
• ImageNet 사전 훈련된 백본을 사용한 전이 학습을 적용하고, ISIC 2018 병변 영상 데이터셋을 활용해 분할 및 분류 작업에 대해 미세 조정한다.
• 두 개의 하이브리드 모델(ResNet-50 및 DenseNet-201)을 앙상블하여 성능을 향상시키며, 예측 결과를 투표 또는 평균화하는 방식을 사용한다.
• 성능 평가 지표로는 70/30 훈련-테스트 분할 기반으로 균형 잡힌 정확도(BACC), 특이도(SEPEC), 민감도(SENS), 정확도, AUC를 사용한다.

실험 결과

연구 질문

• RQ1 CNN의 완전 연결층에 수작업 특징을 훈련 중에 통합하는 것이 피부 병변 분류 정확도를 향상시키는가?
• RQ2 제안된 하이브리드 특징 표현 방식이 단일 방법 특징(딥 러닝 또는 수작업) 대비 분류 능력에서 어떻게 비교되는가?
• RQ3 피부암 진단 파이프라인에서 분할 마스크가 최종 분류 성능에 어떤 영향을 미치는가?
• RQ4 하이브리드 모델의 앙상블 학습이 개별 하이브리드 모델을 초월해 분류 성능을 향상시키는가?
• RQ5 제안된 방법은 ISIC 2018 피부 병변 분류 벤치마크에서 표준 전이 학습 기준 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 하이브리드 모델의 앙상블은 균형 잡힌 정확도 92.3%를 기록하여 최고의 기준 모델 대비 6.8% 향상된 성능을 보였다.
• 하이브리드 ResNet-50 모델은 균형 잡힌 정확도 88.2%를 기록하여 표준 ResNet-50(85.2%) 대비 3% 향상되었다.
• 하이브리드 DenseNet-201 모델은 균형 잡힌 정확도 89.4%를 기록하여 표준 DenseNet-201(85.5%) 대비 3.9% 향상되었다.
• 앙상블 모델은 민감도 87.5% 및 특이도 97.1%를 기록하여 모든 클래스에서 뛰어난 성능을 보였다.
• 앙상블 모델의 AUC 점수는 0.977에 도달하여 피부 병변 유형 간의 높은 분리 능력을 보였다.
• 본 연구는 훈련 중에 완전 연결층에 수작업 특징을 통합하는 것이 분류 성능 향상에 상당한 기여를 한다는 것을 확인하였으며, 제안된 하이브리드 훈련 전략의 타당성을 입증하였다.