[논문 리뷰] Generating Highly Realistic Images of Skin Lesions with GANs

Christoph Baur, Shadi Albarqouni외 1명|arXiv (Cornell University)|2018. 09. 05.

Cutaneous Melanoma Detection and Management인용 수 6

한 줄 요약

이 논문은 고해상도, 매우 현실적인 피부 병변의 dermoscopic 영상(256×256 픽셀)을 생성하기 위해 Progressive Growing GANs(PGAN)를 제안한다. 이는 기존의 DCGAN 및 LAPGAN과 비교해 크게 향상된 성능을 보이며, 전문 피부과의사와 딥러닝 전문가들 역시 시각적 튜링 테스트에서 합성 영상와 실제 영상 간을 신뢰성 있게 구분하지 못했다. 이는 의료 영상 합성 분야에서 최고 수준의 현실성 구현을 입증한다.

ABSTRACT

As many other machine learning driven medical image analysis tasks, skin image analysis suffers from a chronic lack of labeled data and skewed class distributions, which poses problems for the training of robust and well-generalizing models. The ability to synthesize realistic looking images of skin lesions could act as a reliever for the aforementioned problems. Generative Adversarial Networks (GANs) have been successfully used to synthesize realistically looking medical images, however limited to low resolution, whereas machine learning models for challenging tasks such as skin lesion segmentation or classification benefit from much higher resolution data. In this work, we successfully synthesize realistically looking images of skin lesions with GANs at such high resolution. Therefore, we utilize the concept of progressive growing, which we both quantitatively and qualitatively compare to other GAN architectures such as the DCGAN and the LAPGAN. Our results show that with the help of progressive growing, we can synthesize highly realistic dermoscopic images of skin lesions that even expert dermatologists find hard to distinguish from real ones.

연구 동기 및 목표

• 피부 병변 영상 분석에서 레이블이 부족하고 클래스 분포가 불균형한 문제를 해결한다.
• 기존 GAN 기반 기법들이 낮은 해상도의 의료 영상만 생성하는 한계를 극복한다.
• 피부 병변 분류 및 세분화 모델의 훈련 데이터를 향상시키기 위해 고해상도, 현실적인 dermoscopic 영상을 생성한다.
• 시각적 튜링 테스트를 통해 전문 피부과의사와 딥러닝 전문가를 대상으로 합성 영상의 현실성 평가를 수행한다.
• PGAN가 DCGAN 및 LAPGAN보다 고해상도에서 영상 품질, 선명도, 다양성 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• ISIC2018 챌린지 데이터셋의 dermoscopic 영상에 대해 Progressive Growing GAN(PGAN)을 훈련시켜 256×256 픽셀 영상을 생성한다.
• 점진적 증가 기법을 활용: 생성기와 판별기의 해상도를 4×4부터 시작해 256×256까지 점진적으로 증가시키며, 훈련을 안정화시킨다.
• Fréchet Inception Distance(FID) 및 Inception Score(IS)와 같은 정량적 지표를 사용해 PGAN을 DCGAN 및 LAPGAN과 비교한다.
• 3명의 전문 피부과의사와 5명의 딥러닝 전문가를 대상으로 시각적 튜링 테스트를 수행해 현실성 평가를 실시한다.
• 평가자에게 영상 제시 전에 전처리(예: 필터링)를 가하지 않아 편향 없는 평가를 확보한다.
• Fleiss’ kappa를 사용해 평가자 간 일致성 분석을 통해 실제 영상와 합성 영상 간 구분 능력을 평가한다.

실험 결과

연구 질문

• RQ1 PGAN는 전문 피부과의사가 판단하기 어려울 정도로 현실적인 고해상도(256×256) 피부 병변 dermoscopic 영상을 생성할 수 있는가?
• RQ2 고해상도에서 PGAN는 DCGAN 및 LAPGAN에 비해 영상 품질, 선명도, 잡음 수준 측면에서 어떻게 비교되는가?
• RQ3 합성 영상가 실제 피부 병변 영상의 통계적 분포와 얼마나 유사한가?
• RQ4 블라인드 시각적 튜링 테스트에서 전문 인간 평가자들이 실제 영상와 합성 영상 간을 신뢰성 있게 구분할 수 있는가?
• RQ5 PGAN가 생성한 영상의 높은 현실성은 피부 병변 분류 작업에서 효과적인 데이터 증강 전략으로 활용될 수 있는가?

주요 결과

• PGAN가 생성한 영상들은 높은 현실성으로 평가되었으며, 전문 피부과의사와 딥러닝 전문가들이 시각적 튜링 테스트에서 분류 정확도가 단지 우연의 경우(50%)를 略상회하는 수준이었다.
• 평가자 간 일치도가 매우 낮았으며(Fleiss’ kappa 값 근처 0), 실제 영상와 합성 영상 간의 구분 능력이 일관되지 않았다.
• 정량적 지표(FID, IS)와 정성적 평가에서 PGAN가 DCGAN 및 LAPGAN를 모두 앞서며, 더 뛰어난 선명도, 다양성, 낮은 잡음 수준을 보였다.
• 잠재 공간 탐색 결과, 샘플 간 매끄러운 전이가 관찰되어 모델이 훈련 데이터를 암기한 것이 아니라 의미 있는 다양체(manifold)를 학습했다는 것을 시사했다.
• PGAN의 FID 점수는 DCGAN 및 LAPGAN보다 유의미하게 낮아 실제 영상과의 분포 유사도가 더 높다는 것을 나타냈다.
• 높은 현실성에도 불구하고 일부 합성 영상에서는 섬유질 구조를 모델링하는 데 한계가 있었으며, 향후 개선 여지가 있음을 시사했다.