[논문 리뷰] Skin Lesion Classification using Class Activation Map

Xi Jia, Linlin Shen|arXiv (Cornell University)|2017. 03. 03.

Cutaneous Melanoma Detection and Management참고 문헌 5인용 수 20

한 줄 요약

이 논문은 피부 병변 영상에서 특징을 식별하고 집중하기 위해 클래스 활성화 맵(CAM)을 사용하는 이단계 심층학습 프레임워크를 제안한다. 먼저 CAM를 통해 높은 활성화 영역을 식별하고, 이를 기반으로 잘라낸 영역에서 네트워크를 재학습함으로써 분류 성능을 향상시킨다. 이로 인해 ISIC-2017 검증 세트에서 평균 AUC가 0.857을 기록했으며, 원본 입력 기반 모델보다 0.04 높다.

ABSTRACT

We proposed a two stage framework with only one network to analyze skin lesion images, we firstly trained a convolutional network to classify these images, and cropped the import regions which the network has the maximum activation value. In the second stage, we retrained this CNN with the image regions extracted from stage one and output the final probabilities. The two stage framework achieved a mean AUC of 0.857 in ISIC-2017 skin lesion validation set and is 0.04 higher than that of the original inputs, 0.821.

연구 동기 및 목표

• 피부 병변 영상에서 진단적으로 관련 있는 영역을 식별하기 위해 클래스 활성화 맵을 활용하여 피부 병변 분류 정확도를 향상시키는 것.
• 지역화된 높은 활성도 영역에서 재학습하는 방식을 통해 분류 성능을 향상시키는 이단계 심층학습 프레임워크를 개발하는 것.
• CAM를 통해 주목할 만한 영역에 집중함으로써 전체 영상 사용 대비 모델 성능 향상 여부를 입증하는 것.
• 주의 맵을 시각화하여 모델의 결정 과정을 해석 가능하게 하는 것.
• ISIC-2017 피부 병변 분류 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 전체 피부 병변 영상에서 분류 및 클래스 활성화 맵(CAM) 생성을 위해 컨volutional 신경망(CNN)을 먼저 학습시킨다.
• CAM를 사용하여 예측된 클래스에 대해 가장 높은 활성도를 보이는 영역을 식별하여 가장 분류적 특징을 가진 병변 영역을 특정한다.
• CAM로 식별된 영역을 기반으로 영상을 잘라내어 향후 학습에 사용할 가장 관련 있는 병변 특징만 유지한다.
• 동일한 CNN 아키텍처를 잘라낸 영역에서 미세조정(fine-tuning)하여 분류 성능을 향상시킨다.
• 최종 모델은 국소화된 영역에서 유도된 개선된 특징을 기반으로 클래스 확률을 출력한다.
• 이 방법은 해석 가능성(CAM 시각화를 통한)과 영역 중심 학습을 통한 성능 향상의 조합을 실현한다.

실험 결과

연구 질문

• RQ1 클래스 활성화 맵은 피부 병변 영상에서 진단적으로 관련 있는 영역을 효과적으로 국소화할 수 있는가?
• RQ2 CAM로 선택된 영역에서 CNN을 재학습하면 전체 영상에서의 학습 대비 분류 성능 향상이 이루어지는가?
• RQ3 이단계 프레임워크는 해석 가능성을 유지하면서도 피부 병변 분류 벤치마크에서 AUC 향상을 이룰 수 있는가?
• RQ4 ISIC-2017 데이터셋에서 CAM 기반 방법의 성능은 전체 영상 사용 기반 표준 CNN과 비교해 어떻게 되는가?
• RQ5 높은 활성도 영역에 집중함으로써 불필요한 배경 또는 비병변 구조에서 유래하는 노이즈는 어느 정도 감소하는가?

주요 결과

• 이단계 프레임워크는 ISIC-2017 피부 병변 검증 세트에서 평균 ROC 곡선 아래 면적(AUC)이 0.857을 기록했다.
• 이 성능는 전체 영상에서 학습한 베이스라인 모델의 평균 AUC 0.821보다 0.04 높은 것이다.
• 클래스 활성화 맵을 활용하여 진단적으로 관련 있는 영역을 성공적으로 국소화하여 모델의 병변 특징에 대한 집중도를 향상시켰다.
• AUC 향상 결과는 주목할 만한 병변 영역에 대한 주의 집중이 분류 성능 향상에 상당한 기여를 한다는 것을 입증한다.
• 프레임워크는 설명 가능한 주의 맵을 제공하여 모델의 결정 과정을 해석 가능한 방식으로 시각화할 수 있다.
• 결과적으로, CAM를 통한 국소화 후 영역 기반 재학습 전략이 피부 병변 분류에 효과적인 전략임을 시사한다.