[논문 리뷰] MelanoGANs: High Resolution Skin Lesion Synthesis with GANs

Christoph Baur, Shadi Albarqouni외 1명|arXiv (Cornell University)|2018. 04. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 44

한 줄 요약

이 논문은 DCGAN, LAPGAN, 그리고 새로운 DDGAN 변형을 비교하여 소규모 ISIC 2017 데이터셋에서 256x256 피부 병변 이미지를 합성하고, 합성 고해상도 샘플을 사용해 피부 병변 분류의 클래스 불균형 문제를 해결하는 방법을 시연합니다.

ABSTRACT

Generative Adversarial Networks (GANs) have been successfully used to synthesize realistically looking images of faces, scenery and even medical images. Unfortunately, they usually require large training datasets, which are often scarce in the medical field, and to the best of our knowledge GANs have been only applied for medical image synthesis at fairly low resolution. However, many state-of-the-art machine learning models operate on high resolution data as such data carries indispensable, valuable information. In this work, we try to generate realistically looking high resolution images of skin lesions with GANs, using only a small training dataset of 2000 samples. The nature of the data allows us to do a direct comparison between the image statistics of the generated samples and the real dataset. We both quantitatively and qualitatively compare state-of-the-art GAN architectures such as DCGAN and LAPGAN against a modification of the latter for the task of image generation at a resolution of 256x256px. Our investigation shows that we can approximate the real data distribution with all of the models, but we notice major differences when visually rating sample realism, diversity and artifacts. In a set of use-case experiments on skin lesion classification, we further show that we can successfully tackle the problem of heavy class imbalance with the help of synthesized high resolution melanoma samples.

연구 동기 및 목표

• 의료 영상에서 작은 데이터셋을 사용하여 GAN으로 고해상도 피부 병변 합성을 촉진한다.
• 256x256 합성 피부 병변 생성을 위한 DCGAN, LAPGAN, 그리고 제안된 DDGAN 아키텍처를 비교한다.
• 합성된 고해상도 병변이 불균형 데이터에서 분류기 성능에 미치는 영향을 평가한다.
• 학습된 업샘플링과 다른 판별 전략이 샘플의 현실성과 다양성에 영향을 미치는지 평가한다.

제안 방법

• 노이즈로부터 256x256 피부 병변 이미지를 생성하기 위해 DCGAN, LAPGAN, 및 DDGAN 변형을 구현한다.
• DDGAN은 단일 노이즈 소스와 다중 수준 판별기로 이미지 판별을 수행하여 엔드 투 엔드 학습을 가능하게 한다.
• DDGAN 변형에는 업샘플링(비매개변수 업샘플링으로 학습) 및 컨볼루션 역샘플링 기반 업샘플링이 포함된다.
• LAPGAN은 다중 노이즈 소스와 피라미드 수준의 잔류 판별에 의존한다.
• 평가는 히스토그램 기반 분포 유사성(JS Divergence, Wasserstein Distance)과 정성적 시각 평가를 사용한다.

실험 결과

연구 질문

• RQ1 작은 데이터셋에서 256x256의 고해상도 피부 병변 이미지를 GAN 아키텍처 전반에 걸쳐 현실적으로 합성할 수 있는가?
• RQ2 생성된 병변의 분포 유사성, 다양성, 선명도, 및 아티팩트 측면에서 DCGAN, LAPGAN, DDGAN은 어떻게 비교되는가?
• RQ3 합성된 고해상도 흑색종 샘플이 피부 병변 분류에서 심한 클래스 불균형 완화에 도움이 되는가?
• RQ4 이 작업에서 DDGAN의 역컨볼루션을 이용한 학습된 업샘플링이 표준 업샘플링보다 유리한가?

주요 결과

모델	EMD	JS Divergence
DCGAN	0.00821	0.00458
LAPGAN	0.04098	0.01420
DDGAN_upsampling	0.02509	0.01099
DDGAN_deconvolution	0.05410	0.02183

• 모든 모델이 실제 데이터 분포를 근사하지만 시각적 현실성, 다양성 및 아티팩트 패턴은 모델 간에 다르다.
• DCGAN은 강도 분포를 가장 잘 매치하지만 체커보드 아티팩트를 보이고 다양성이 낮다.
• LAPGAN은 샘플 다양성을 높게 제공하지만 고주파 아티팩트를 도입한다.
• 이미지 판별(업샘플링)을 가진 DDGAN은 LAPGAN보다 고주파 아티팩트가 적고 실제 분포에 더 가깝게 일치하며, LAPGAN보다 학습이 쉽다.
• 용도별 분류에서 LAPGAN 및 DDGAN 변형의 합성 흑색종 샘플은 클래스 불균형 하에서 성능을 향상시키며 때로는 전체 실제 데이터로 학습한 모델을 능가한다.