[논문 리뷰] Unsupervised and semi-supervised learning with Categorical Generative Adversarial Networks assisted by Wasserstein distance for dermoscopy image Classification

Yi Xin, Ekta Walia외 1명|arXiv (Cornell University)|2018. 04. 10.

Cutaneous Melanoma Detection and Management참고 문헌 27인용 수 41

한 줄 요약

논문은 catWGAN을 제안한다. 이는 Wasserstein 거리를 강화한 범주형 GAN으로, 청색박테영상을 학습하는 비지도 및 반지도 설정에서 피부종양 영상의 특징을 학습하고, 적은 라벨로도 경쟁력 있는 흑색종 분류를 달성하며 현실적인 피부종 영상 이미지를 생성한다.

ABSTRACT

Melanoma is a curable aggressive skin cancer if detected early. Typically, the diagnosis involves initial screening with subsequent biopsy and histopathological examination if necessary. Computer aided diagnosis offers an objective score that is independent of clinical experience and the potential to lower the workload of a dermatologist. In the recent past, success of deep learning algorithms in the field of general computer vision has motivated successful application of supervised deep learning methods in computer aided melanoma recognition. However, large quantities of labeled images are required to make further improvements on the supervised method. A good annotation generally requires clinical and histological confirmation, which requires significant effort. In an attempt to alleviate this constraint, we propose to use categorical generative adversarial network to automatically learn the feature representation of dermoscopy images in an unsupervised and semi-supervised manner. Thorough experiments on ISIC 2016 skin lesion chal- lenge demonstrate that the proposed feature learning method has achieved an average precision score of 0.424 with only 140 labeled images. Moreover, the proposed method is also capable of generating real-world like dermoscopy images.

연구 동기 및 목표

• 표준화된 라벨이 제한된 상황에서 피부종 영상으로 자동 흑색종 선별을 촉진하여 피부과 의사 업무 부담을 줄인다.
• Wasserstein 거리를 통해 안정성을 개선한 catGAN을 활용하여 비라벨링 피부종 영상에서 특징 학습 프레임워크를 개발한다.
• ISIC 2016에서 한정된 라벨 데이터로 분류 성능을 평가하고 기준선과 비교한다.
• 실제 세계와 유사한 피부종 영상 합성을 통해 데이터 증가를 도모하는 능력을 시연한다.

제안 방법

• 두 번째 Wasserstein 기반 판별기(D2)를 추가하여 학습 안정성과 생성기 그래디언트를 개선하는 방식으로 catGAN을 적응시킨다.
• D1이 흑색종 대 양성으로의 클래스 신뢰도를 출력하고 D2가 실제 샘플과 생성 샘플 간의 Wasserstein 거리를 강제하는 이중 판별기 설정을 사용한다.
• semi-supervised 모드에서 라벨이 있는 데이터에 대해 교차 엔트로피 손실을 선택적으로 사용하고, catGAN 손실과 WGAN 그레이디언트 페널티 손실의 조합으로 학습한다.
• D1의 학습된 특징(마지막에서 세 번째 층)에서 선형 SVM 평가를 수행하고, 학습 중 특징의 변화를 추적한다.
• 실제 병변 구역을 확보하기 위해 병변 영역에 대해 그라운드 트루스 분할을 적용하고, 네트워크 입력 크기에 맞게 64x64(일부 분석은 128x128으로 확장)으로 리사이즈한다.
• 아키텍처: DCGAN 스타일의 개선이 적용된 커스텀 catGAN의 G 및 D1; D2는 고주파 로컬 패치에 초점을 맞춘 3계층 완전 합성곱 신경망이며, Adam(lr=0.0002)으로 최적화한다.
• 학습 세부정보: 비지도 학습은 20k 개의 비라벨 샘플, 반지도 학습은 클래스당 70개 라벨(데이터 확장을 통해 10k로 증가)으로 구성; 배치 크기 200; lambda=10, alpha=0.1; 16k 반복.

실험 결과

연구 질문

• RQ1 비지도 및 반지도 학습으로 catGAN이 한정된 라벨 데이터에서도 피부종 영상으로부터 판별 가능한 흑색종 특징을 학습할 수 있는가?
• RQ2 두 번째 판별기를 통한 Wasserstein 거리의 통합이 학습 안정성과 흑색종 분류를 위한 특징 품질을 향상시키는가?
• RQ3 catWGAN의 학습 특징 표현이 ISIC 2016에서 전통적 수작업 특징 및 잡음 제거 오토인코더와 어떻게 비교되는가?
• RQ4 생성기가 데이터 증가에 적합한 현실적인 피부종 이미지를 생성할 수 있는가?

주요 결과

Method	AP	AUC	AC
catWGAN-unsuper (proposed)	0.351	0.613	0.812
catWGAN-semi (proposed)	0.424	0.690	0.810
Edge Histogram	0.265	0.571	0.665
Color Histogram	0.360	0.626	0.789
DAE	0.329	0.634	0.794

• 비지도 catWGAN은 ISIC 테스트에서 baselines와 비교했을 때 AP 0.351, AUC 0.613, AC 0.812를 달성한다.
• 반지도 catWGAN은 ISIC 테스트에서 성능을 크게 향상시켜 AP 0.424, AUC 0.690, AC 0.810을 달성한다.
• 비교 baselines: Edge Histogram(AP 0.265, AUC 0.571, AC 0.665), Color Histogram(AP 0.360, AUC 0.626, AC 0.789), DAE(AP 0.329, AUC 0.634, AC 0.794).
• 64x64의 생성 피부종 이미지(도표에서 128x128도 있음)는 현실 세계와 유사한 샘플을 보여준다(그림 9).
• 비지도 및 반지도 학습 모두에서 초기 반복 단계에서 AC/AUC가 개선되고, AP는 포화되는 경향을 보인다(특징의 진화).
• 반지도 catWGAN은 ISIC 2016 테스트 세트에서 보고된 지표들 중 비지도 버전 및 기준선보다 우수한 성능을 보인다.