[논문 리뷰] DermGAN: Synthetic Generation of Clinical Skin Images with Pathology

Amirata Ghorbani, Vivek Natarajan외 2명|arXiv (Cornell University)|2019. 11. 20.

AI in cancer detection참고 문헌 43인용 수 44

한 줄 요약

DermGAN은 피부 상태, 크기, 위치 및 피부색을 제어 가능한 합성 임상 피부 이미지를 Pix2Pix에 맞게 적용하고 GAN 지표와 인간 테스트로 검증되었으며, 합성 이미지를 이용한 증강이 분류 성능에서 희귀 악성 피부 질환에 대한 향상을 보인다.

ABSTRACT

Despite the recent success in applying supervised deep learning to medical imaging tasks, the problem of obtaining large and diverse expert-annotated datasets required for the development of high performant models remains particularly challenging. In this work, we explore the possibility of using Generative Adverserial Networks (GAN) to synthesize clinical images with skin condition. We propose DermGAN, an adaptation of the popular Pix2Pix architecture, to create synthetic images for a pre-specified skin condition while being able to vary its size, location and the underlying skin color. We demonstrate that the generated images are of high fidelity using objective GAN evaluation metrics. In a Human Turing test, we note that the synthetic images are not only visually similar to real images, but also embody the respective skin condition in dermatologists' eyes. Finally, when using the synthetic images as a data augmentation technique for training a skin condition classifier, we observe that the model performs comparably to the baseline model overall while improving on rare but malignant conditions.

연구 동기 및 목표

• 의료 피부 영상 데이터의 희소성과 불균형 문제를 동기화하고, 특히 희귀 악성 질환에 대한 문제를 강조합니다.
• 특정 병리, 크기, 위치 및 피부색을 지정하여 임상 피부 이미지를 합성하는 생성 프레임워크를 제안합니다.
• 객관적 GAN 지표와 인간 평가를 통해 생성 품질을 입증합니다.
• 희귀 클래스를 강조하는 피부 상태 분류를 위한 데이터 증강으로 합성 이미지의 활용 가능성을 보여줍니다.

제안 방법

• 의미 맵에 피부색, 질환 존재 여부, ROI 위치를 인코딩하는 표시적 맵을 가진 의료 피부 이미지를 위한 Pix2Pix 스타일의 조건부 GAN을 적용합니다.
• 체크보드 아티팩트를 줄이기 위한 해상 조정 계층을 갖춘 U-Net 기반의 제너레이터와 완전 컨볼루션(FCN) 판별기를 수정합니다.
• 이미지 재구성 손실, 병리학 특정 ROI 재구성 손실, 최소-최대 GAN 손실, 특징 매칭 손실의 네 가지 손실 항으로 학습합니다.
• 손실 구성 요소의 균형을 맞추기 위한 그리드 탐색을 통한 하이퍼파라미터 튜닝을 수행합니다.
• 주석된 ROI를 중심으로 자른 256x256 학습 이미지와 학습용 40000장, 평가용 24000장을 만들어 데이터 전처리를 수행합니다.

실험 결과

연구 질문

• RQ1 조건부 GAN이 병리학, 피부색 및 ROI를 지정하는 의미 맵으로부터 현실적인 임상 피부 이미지를 생성할 수 있는가?
• RQ2 피부색과 병변 크기의 변화가 생성된 이미지의 품질과 피부과적 리얼리즘에 어떤 영향을 미치는가?
• RQ3 합성 이미지가 희귀 악성 클래스를 포함한 피부 상태 분류에서 데이터 증강으로 성능을 개선하는가?
• RQ4 어떤 객관적 및 주관적 지표가 생성 이미지의 현실성 및 임상적 관련성을 가장 잘 반영하는가?

주요 결과

• DermGAN은 피부색, 병변 유형 및 ROI 크기/위치에 조건화된 고충실도 합성 이미지를 생성할 수 있다.
• 의미 맵에서 피부색을 달리하면 배경 외관이 실제 관찰과 일치하게 변화한다.
• 의미 맵에서 병변 크기를 늘리면 생성된 피부 영역에서 시각적 변화가 대응적으로 나타난다.
• 객관적 GAN 지표(FID)는 전체 DermGAN 모델을 사용할 때 향상되며, 기본 모델(ablations)보다 높은 FID를 보이는 반면, 베이스라인은 더 나쁜 FID 점수를 보인다.
• 사람의 튜링 테스트에서 합성 이미지는 종종 실제 이미지와 구별하기 어렵고 피부과 의사는 합성 이미지에서 올바른 임상 내용을 인지한다.
• 피부 상태 분류의 데이터 증강에서 20000장의 합성 이미지를 사용했을 때 전체 정확도는 베이스라인과 비슷했으나 희귀 악성 클래스(Melanoma, Basal Cell Carcinoma)에서 F1이 개선되었고, Melanocytic nevus에서의 트레이드오프가 있었다.