[논문 리뷰] Semi-supervised Skin Lesion Segmentation via Transformation Consistent Self-ensembling Model

Xiaomeng Li, Lequan Yu외 3명|arXiv (Cornell University)|2018. 08. 12.

Cutaneous Melanoma Detection and Management인용 수 30

한 줄 요약

이 논문은 레이블이 적은 데이터로도 성능을 향상시키기 위해 비지도 학습 기반의 변환 일관성 있는 자기 앙상블 모델을 사용한 반지도 학습 피부 병변 세그멘테이션 방법을 제안한다. 데르모스코프 이미지의 비라벨 데이터를 활용하여, 데이터 증강(예: 회전, 뒤집기)에 따른 예측 일관성을 강제함으로써, ISIC 2017 벤치마크에서 라벨이 300개 뿐인 경우에도 최신 기술(SOTA) 수준의 성능을 달성하였으며, 2,000개의 라벨로 훈련된 완전 지도 학습 모델을 초월하였다.

ABSTRACT

Automatic skin lesion segmentation on dermoscopic images is an essential component in computer-aided diagnosis of melanoma. Recently, many fully supervised deep learning based methods have been proposed for automatic skin lesion segmentation. However, these approaches require massive pixel-wise annotation from experienced dermatologists, which is very costly and time-consuming. In this paper, we present a novel semi-supervised method for skin lesion segmentation by leveraging both labeled and unlabeled data. The network is optimized by the weighted combination of a common supervised loss for labeled inputs only and a regularization loss for both labeled and unlabeled data. In this paper, we present a novel semi-supervised method for skin lesion segmentation, where the network is optimized by the weighted combination of a common supervised loss for labeled inputs only and a regularization loss for both labeled and unlabeled data. Our method encourages a consistent prediction for unlabeled images using the outputs of the network-in-training under different regularizations, so that it can utilize the unlabeled data. To utilize the unlabeled data, our method encourages the consistent predictions of the network-in-training for the same input under different regularizations. Aiming for the semi-supervised segmentation problem, we enhance the effect of regularization for pixel-level predictions by introducing a transformation, including rotation and flipping, consistent scheme in our self-ensembling model. With only 300 labeled training samples, our method sets a new record on the benchmark of the International Skin Imaging Collaboration (ISIC) 2017 skin lesion segmentation challenge. Such a result clearly surpasses fully-supervised state-of-the-arts that are trained with 2000 labeled data.

연구 동기 및 목표

• 데르모스코프 이미지에서 픽셀 단위 세그멘테이션의 높은 레이블링 비용 문제를 해결하기 위해 대규모 라벨 데이터셋에 대한 의존도를 줄이기 위해.
• 임상적 데르모스코프 이미지에서 흔히 발생하는 모호하거나 노이즈가 있는 레이블에 대한 모델의 강건성을 향상시키기 위해.
• 자기 앙상블을 통해 비라벨 데르모스코프 이미지를 효과적으로 활용하여 딥 네ural 네트워크의 특징 학습을 향상시키기 위해.
• 의료 영상의 픽셀 수준 세그멘테이션 작업에 특화된 변환 일관성 정규화 기법을 개발하기 위해.

제안 방법

• 라벨이 있는 데이터에 대한 감독 학습 손실과 라벨이 있거나 없는 데이터에 대한 비지도 정규화 손실의 가중 조합을 사용하여 딥 네ural 네트워크를 훈련한다.
• 다양한 데이터 증강(예: 회전, 뒤집기)에 대해 예측 일관성을 강제하기 위해 변환된 입력의 예측 간 차이를 최소화한다.
• 입력 이미지와 동일한 방식으로 예측이 변환되도록 보장하는 변환 일관성 기반 기법을 도입하여 공간 정렬을 유지한다.
• 동일한 이미지에 대해 다양한 증강을 적용했을 때 일관된 출력을 생성하도록 하여 자기 앙상블을 적용함으로써 정규화 효과를 얻는다.
• 일반화 및 강건성을 향상시키기 위해 비지도 손실의 일부로 데이터 증강(예: 랜덤 회전, 뒤집기)을 적용한다.
• 지표가 모호한 경우에도 일관성 손실을 통해 예측을 정규화하여 노이즈가 있는 레이블에 대한 내성을 향상시킨다.

실험 결과

연구 질문

• RQ1 변환 일관성이 있는 자기 앙상블 프레임워크가 라벨 데이터가 제한된 경우 반지도 학습 피부 병변 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 변환 일관성(예: 회전, 뒤집기)은 의료 영상 세그멘테이션의 픽셀 수준 예측에 대해 얼마나 효과적인 정규화 기법이 되는가?
• RQ3 비라벨 데르모스코프 이미지는 모델의 일반화 능력과 모호한 레이블에 대한 강건성 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 훨씬 적은 라벨 샘플로 훈련되었을 때 완전 지도 학습 최신 기술 모델을 초월하는가?

주요 결과

• 제안된 반지도 학습 방법은 ISIC 2017 테스트 세트에서 라벨이 300개 뿐인 경우 Jaccard Index (JA)가 79.8%를 기록하였으며, 2,000개의 라벨로 훈련된 완전 지도 학습 SOTA 모델(76.5%)을 초월하였다.
• 50개의 라벨과 1,950개의 비라벨 이미지를 사용했을 때 JA가 2.46% 향상되었으며, 이는 이전의 반지도 학습 방법(Bai et al. 및 Hung et al.)이 각각 1.55%와 0.87% 향상된 것보다 뛰어난 성능을 보였다.
• 비지도 손실이 강력한 정규화 효과를 제공하여, 모든 2,000개의 이미지를 사용했을 때 JA가 79.60%에서 80.02%로 향상되었으며, 이는 레이블 노이즈에 대한 내성 향상을 시사한다.
• DI(Dice), SE(Sensitivity), SP(Specificity) 모두 SOTA 기준보다 각각 2.5%, 5.4%, 1.6% 향상되어 뛰어난 성능을 보였다.
• 변환 일관성 있는 자기 앙상블 기법이 모호한 레이블에 대한 민감도를 효과적으로 감소시켜, 도전적인 케이스에서도 일관된 성능 향상을 보였다.
• 다양한 데이터 분할에 대해 잘 일반화되며, 여러 평가 지표에서 일관된 향상을 보여, 모델의 강건성과 확장성의 타당성을 확인하였다.