[논문 리뷰] Improved skin lesion recognition by a Self-Supervised Curricular Deep Learning approach

Kirill Sirotkin, Marcos Escudero-Viñolo외 2명|arXiv (Cornell University)|2021. 12. 22.

Cutaneous Melanoma Detection and Management인용 수 5

한 줄 요약

이 논문은 복잡도가 점차 증가하는 순서로 정렬된 시퀀스의 사전 과제들(예측 과제)을 사용하여 레이블이 없는 피부내시경 영상에서 컨볼루션 신경망을 사전 훈련하는 자기지도 학습 커리큘럼 딥 러닝 접근법을 제안한다. 이 방법은 ISIC-2019 피부 병변 분류 벤치마크에서 이미지넷 사전 훈련 모델과 개별 사전 과제 사전 훈련을 모두 능가하는 최신 기술 수준의 성능을 달성하며, 병변 영역에 모델의 주의를 집중시키고 사전 훈련 시간을 크게 줄였다.

ABSTRACT

State-of-the-art deep learning approaches for skin lesion recognition often require pretraining on larger and more varied datasets, to overcome the generalization limitations derived from the reduced size of the skin lesion imaging datasets. ImageNet is often used as the pretraining dataset, but its transferring potential is hindered by the domain gap between the source dataset and the target dermatoscopic scenario. In this work, we introduce a novel pretraining approach that sequentially trains a series of Self-Supervised Learning pretext tasks and only requires the unlabeled skin lesion imaging data. We present a simple methodology to establish an ordering that defines a pretext task curriculum. For the multi-class skin lesion classification problem, and ISIC-2019 dataset, we provide experimental evidence showing that: i) a model pretrained by a curriculum of pretext tasks outperforms models pretrained by individual pretext tasks, and ii) a model pretrained by the optimal pretext task curriculum outperforms a model pretrained on ImageNet. We demonstrate that this performance gain is related to the fact that the curriculum of pretext tasks better focuses the attention of the final model on the skin lesion. Beyond performance improvement, this strategy allows for a large reduction in the training time with respect to ImageNet pretraining, which is especially advantageous for network architectures tailored for a specific problem.

연구 동기 및 목표

• ISIC-2019와 같은 작은 전문화된 의료 영상 데이터셋에서 레이블이 부족한 문제로 인해 딥 러닝 모델의 성능이 제한되는 문제를 해결하기 위해.
• 이미지넷과 피부내시경 영상 간의 도메인 갭을 해소하기 위해 타겟 도메인 데이터에만 자기지도 학습 사전 훈련을 사용하여.
• 자기지도 사전 과제의 최적의 커리큘럼을 설계하여 모델의 일반화 능력 향상과 피부 병변 영역에 대한 주의 집중을 강화하기 위해.
• 특수 목적의 네트워크 아키텍처에 대해 이미지넷 사전 훈련보다 계산 비용을 줄이기 위해.
• 사전 과제 순서가 최종 성능과 표현 유사성에 미치는 영향을 조사하기 위해.

제안 방법

• 이 방법은 순서가 정해진 자기지도 사전 과제들—회전 예측(ODC), 상대 위치, 대비 학습(MoCo v2)—을 사용하며, 이들은 복수의 과제를 순차적으로 훈련한다.
• 개별 사전 과제의 최종 분류 정확도를 기반으로 커리큘럼 순서 전략을 수립하여 성능이 높은 과제를 우선순위로 정한다.
• 레이블이 없는 ISIC-2019 데이터셋을 사용해 이 순차적 사전 과제 파이프라인을 통해 모델을 사전 훈련한 후, 레이블이 있는 분류 작업에서 미세조정을 수행한다.
• 특징 공간 정렬을 평가하고 커리큘럼 설계에 기여하기 위해 중심 커널 일치도(CKA)를 사용해 사전 과제 간 표현 유사성을 분석한다.
• 이 접근법은 오직 레이블이 없는 피부내시경 영상만을 사용하여 이미지넷에 의존하지 않는다.
• 질적 분석은 피부 병변과 그 경계에 대한 주의 집중 정도를 평가하기 위해 클래스 활성화 맵(CAMs)을 사용한다.

실험 결과

연구 질문

• RQ1 자기지도 사전 과제의 커리큘럼이 개별 사전 과제보다 피부 병변 분류 정확도를 향상시키는가?
• RQ2 타겟 도메인 데이터에서 자기지도 학습 커리큘럼이 이미지넷 지도 학습 사전 훈련을 능가하는가?
• RQ3 사전 과제 순서가 최종 모델의 성능과 주의 집중에 어떤 영향을 미치는가?
• RQ4 다른 사전 과제에서 학습된 표현 간의 유사도는 어느 정도이며, 이는 커리큘럼 성과에 어떤 영향을 미치는가?
• RQ5 CKA와 같은 표현 유사도 측정 지표가 최적의 사전 과제 커리큘럼 자동 구축에 기여할 수 있는가?

주요 결과

• 커리큘럼화된 사전 과제 시퀀스로 사전 훈련한 모델은 ISIC-2019 데이터셋에서 72.8%의 top-1 정확도를 달성하여 이미지넷 사전 훈련 기반 베이스라인을 초월했다.
• 최적의 커리큘럼은 개별 사전 과제로 사전 훈련한 모델보다 성능이 뛰어나, 순차적이고 순서가 정해진 사전 훈련의 이점을 입증했다.
• 커리큘럼 기반 접근법은 클래스 활성화 맵을 통해 병변 영역에서 더 강한 활성화를 보여주어 병변 영역에 대한 주의 집중이 향상됨을 확인했다.
• 특수 목적의 아키텍처에 대해 제안된 커리큘럼을 사용해 ISIC-2019 데이터셋에서 사전 훈련하는 데에는 이미지넷 사전 훈련보다 훨씬 적은 시간이 소요되었다.
• CKA 분석 결과, ODC와 MoCo v2는 매우 유사한 표현을 생성했지만, 상대 위치 특징은 다소 다를 것으로 나타나, 커리큘럼 순서에서의 성능 차이를 설명했다.
• 모든 세 가지 과제를 포함한 전체 커리큘럼은 혼합 및 반대 순서 커리큘럼보다 성능이 뛰어났지만, 항상 최고는 아니었으며, 과제 수보다 표현 유사성과 과제 순서가 더 중요하다는 점을 시사했다.