[논문 리뷰] Disease Classification within Dermascopic Images Using features extracted by ResNet50 and classification through Deep Forest

Sounak Ray|arXiv (Cornell University)|2018. 07. 16.

Cutaneous Melanoma Detection and Management인용 수 4

한 줄 요약

이 논문은 사전 훈련된 ResNet50를 통한 특징 추출과 Deep Forest, 트리 기반 앙상블 모델을 사용한 피부 병변 분류를 위한 하이브리드 딥러닝 접근법을 제안한다. 이 방법은 ISIC 2018 데이터셋에서 경쟁력 있는 성능을 달성하며, 특히 Deep Forest의 적응형 복잡성과 클래스 불균형에 대한 강건성 덕분에 소규모 데이터 및 불균형 데이터 시나리오에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this report we propose a classification technique for skin lesion images as a part of our submission for ISIC 2018 Challenge in Skin Lesion Analysis Towards Melanoma Detection. Our data was extracted from the ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection grand challenge datasets. The features are extracted through a Convolutional Neural Network, in our case ResNet50 and then using these features we train a DeepForest, having cascading layers, to classify our skin lesion images. We know that Convolutional Neural Networks are a state-of-the-art technique in representation learning for images, with the convolutional filters learning to detect features from images through backpropagation. These features are then usually fed to a classifier like a softmax layer or other such classifiers for classification tasks. In our case we do not use the traditional backpropagation method and train a softmax layer for classification. Instead, we use Deep Forest, a novel decision tree ensemble approach with performance highly competitive to deep neural networks in a broad range of tasks. Thus we use a ResNet50 to extract the features from skin lesion images and then use the Deep Forest to classify these images. This method has been used because Deep Forest has been found to be hugely efficient in areas where there are only small-scale training data available. Also as the Deep Forest network decides its complexity by itself, it also caters to the problem of dataset imbalance we faced in this problem.

연구 동기 및 목표

• 제한된 훈련 데이터를 사용하여 피부 병변을 도구적 영상에서 분류하는 데 도전하는 것.
• 소규모 및 불균형 데이터셋에서 전통적인 딥러닝 분류기인 소프트맥스의 한계를 극복하는 것.
• ResNet50가 추출한 특징을 분류하는 데 Deep Forest가 소프트맥스의 대안으로 효과적인지 탐색하는 것.
• 이식 학습과 강력하고 적응형 앙상블 모델을 조합하여 메라노마 검출 정확도를 향상시키는 것.

제안 방법

• 사전 훈련된 ResNet50 모델을 사용하여 도구적 영상에서 특징을 추출한다.
• ResNet50의 마지막 완전히 연결된 층에서 학습된 특징을 분류 입력으로 사용한다.
• 기존의 전통적인 소프트맥스 분류기 대신, 이 추출된 특징에 대해 Deep Forest 모델을 훈련시킨다.
• Deep Forest는 계층적 표현을 학습하고 예측을 내리기 위해 랜덤 포레스트의 캐스케이딩 레이어를 사용한다.
• 모델은 데이터 특성에 따라 자동으로 복잡성을 조정하여 소규모 데이터셋에서 과적합을 줄인다.
• 분류 과정에서 역전파를 피하고, 강건성을 확보하기 위해 트리 기반 앙상블 학습에 의존한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 ResNet50에서 추출한 특징을 사용할 때, Deep Forest가 전통적인 소프트맥스 분류기보다 우수한 성능을 보일 수 있는가?
• RQ2 ResNet50 특징 추출과 Deep Forest 분류의 조합이 소규모 도구적 영상 데이터셋을 다루는 데 얼마나 효과적인가?
• RQ3 Deep Forest는 피부 병변 데이터셋에서 흔히 발생하는 클래스 불균형 문제를 어느 정도 완화하는가?
• RQ4 Deep Forest의 적응형 복잡성은 제한된 훈련 데이터에서 일반화 성능을 향상시키는 데 기여하는가?

주요 결과

• 제안된 방법은 ISIC 2018 데이터셋에서 경쟁력 있는 분류 성능를 달성하며, 제한된 데이터에서 뛰어난 일반화 능력을 보여준다.
• Deep Forest는 데이터 불균형을 효과적으로 다루어 주로성 클래스에 대한 편향을 감소시킨다.
• 모델의 자동 복잡성 조정 기능은 과적합을 방지하며, 특히 소규모 훈련 환경에서 유용하다.
• 특정 특징에 대해 동일한 모델을 적용했을 때, 하이브리드 접근법이 표준 소프트맥스 분류기보다 우수한 성능을 보이며, 특히 저데이터 시나리오에서 두각을 나타낸다.