[논문 리뷰] An Evaluation of Self-Supervised Pre-Training for Skin-Lesion Analysis

Levy Chaves, Alceu Bissoto외 2명|arXiv (Cornell University)|2021. 06. 17.

Cutaneous Melanoma Detection and Management인용 수 4

한 줄 요약

이 논문은 피부 병변 분류를 위한 자기지도 학습 전훈 방법—BYOL, InfoMin, MoCo, SimCLR, SwAV—을 평가하며, 다섯 개인 데이터셋(내분포 및 외분포 샘플 포함)에서 지도 학습 기반 ImageNet 기준선과 비교한다. 자기지도 학습은 특히 저자료 환경(150장 이하)에서 정확도를 높이고 성능 변동성을 줄여, 의료 영상 분석 분야에서 뛰어난 안정성과 내성성을 입증한다.

ABSTRACT

Self-supervised pre-training appears as an advantageous alternative to supervised pre-trained for transfer learning. By synthesizing annotations on pretext tasks, self-supervision allows to pre-train models on large amounts of pseudo-labels before fine-tuning them on the target task. In this work, we assess self-supervision for the diagnosis of skin lesions, comparing three self-supervised pipelines to a challenging supervised baseline, on five test datasets comprising in- and out-of-distribution samples. Our results show that self-supervision is competitive both in improving accuracies and in reducing the variability of outcomes. Self-supervision proves particularly useful for low training data scenarios ($<1\,500$ and $<150$ samples), where its ability to stabilize the outcomes is essential to provide sound results.

연구 동기 및 목표

• 자기지도 학습 전훈의 효과성을 지도 학습 기반 전훈과 비교하여 피부 병변 분류에 적용한 결과를 평가하는 것.
• 내분포 및 외분포 테스트 세트를 포함한 다양한 데이터셋에서의 성능을 평가하는 것.
• 저자료 학습 환경(최소 148장의 샘플)에서 자기지도 학습의 영향을 조사하는 것.
• 자기지도 학습 모델이 지도 학습 기준선보다 더 강건하고 일반화 가능한 표현을 학습하는지 분석하는 것.
• 대비 학습 기반 자기지도 학습 전훈을 미세조정 이전의 중간 단계로 활용할 수 있는지 탐색하는 것.

제안 방법

• BYOL, InfoMin, MoCo, SimCLR, SwAV의 다섯 가지 자기지도 학습 전훈 방법을 사용하며, 백본으로 ResNet-50를 활용한다.
• 대조 학습, 회전 예측, 인스턴스 식별 등의 사전 과제를 통해 ImageNet에서 전훈한다.
• 이중 단계 전이 학습 프로토콜을 적용: 사전 과제를 통한 자기지도 학습 전훈 → 목표 피부 병변 데이터셋에서의 미세조정.
• 대조 학습을 위한 양성 쌍 생성을 위해 데이터 증강 기법(자르기, 색상 왜곡, 가우시안 블러)을 사용한다.
• 내분포 및 외분포 분할을 포함한 다섯 개인 공개 피부 병변 데이터셋(ISIC 2017, 2018, 2019, HAM10000, Derm7pt)에서 모델을 평가한다.
• 기울기 기반 시각화 기법이 아닌 Score-CAM을 사용해 주의 맵을 시각화하고, 모델 결정 원리를 해석하며 기능 활성화 패턴을 비교한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 자기지도 학습 전훈 방법이 피부 병변 분류 정확도 측면에서 지도 학습 기반 ImageNet 기준선과 어떻게 비교되는가?
• RQ2 자기지도 학습 전훈이 저자료 학습 환경(예: 150장 이하)에서 성능 향상과 분산 감소에 기여하는가?
• RQ3 자기지도 학습 모델은 지도 학습 기준선 대비 외분포 테스트 세트에서 어떻게 성능을 내는가?
• RQ4 자기지도 학습 모델과 지도 학습 모델 간의 기능 활성화 패턴과 주의 맵에 어떤 차이가 있는가?
• RQ5 대비 학습 기반 자기지도 학습 전훈은 의료 영상 분야에서 지도 학습 전훈의 안정적이고 효과적인 대안이 될 수 있는가?

주요 결과

• 자기지도 학습 전훈은 모든 다섯 개의 테스트 데이터셋에서 평균 정확도 측면에서 지도 학습 기반 ImageNet 기준선을 일관되게 뛰어넘었다.
• 반복 실행 시 성능 변동성이 자기지도 학습 모델에서 특히 저자료 환경에서 유의미하게 낮았다.
• 1% 학습 데이터 환경(148장)에서 자기지도 학습 모델은 성능 변동성을 줄이고 평균 정확도를 지도 학습 기준선보다 향상시켰다.
• BYOL, SimCLR, SwAV는 자기지도 학습 방법 중에서 가장 높은 성능을 보였으며, 지도 학습 기준선 대비 더 높은 정확도와 더 안정적인 예측을 보였다.
• Score-CAM 시각화 결과, 자기지도 학습 모델은 특히 저자료 설정에서 더 일관되고 생물학적으로 타당한 병변 영역에 집중하는 것으로 나타났다.
• 이중 전훈 파이프라인(자기지도 학습 전훈 → 미세조정)은 자료 부족 조건에서 결과의 안정성을 높이는 데 특히 효과적이었다.