[논문 리뷰] GANs for Medical Image Synthesis: An Empirical Study

Youssef Skandarani, Pierre‐Marc Jodoin외 1명|arXiv (Cornell University)|2021. 05. 11.

Generative Adversarial Networks and Image Synthesis인용 수 28

한 줄 요약

이 논문은 세 가지 의학 영상 모달리티(심근 Cine-MRI, 간 CT, 망막 영상)에서 여러 GAN 아키텍처를 평가하고, 합성 데이터의 유용성을 FID와 다운스트림 분할(Dice)로 평가하며, StyleGAN과 SPADE가 이미지 충실도에서 우수하지만 전체 데이터셋의 풍부함을 재현하는 것은 어렵고, FID만으로는 분할 성능을 신뢰성 있게 예측하지 못한다는 결론을 제시합니다.

ABSTRACT

Generative Adversarial Networks (GANs) have become increasingly powerful, generating mind-blowing photorealistic images that mimic the content of datasets they were trained to replicate. One recurrent theme in medical imaging is whether GANs can also be effective at generating workable medical data as they are for generating realistic RGB images. In this paper, we perform a multi-GAN and multi-application study to gauge the benefits of GANs in medical imaging. We tested various GAN architectures from basic DCGAN to more sophisticated style-based GANs on three medical imaging modalities and organs namely : cardiac cine-MRI, liver CT and RGB retina images. GANs were trained on well-known and widely utilized datasets from which their FID score were computed to measure the visual acuity of their generated images. We further tested their usefulness by measuring the segmentation accuracy of a U-Net trained on these generated images. Results reveal that GANs are far from being equal as some are ill-suited for medical imaging applications while others are much better off. The top-performing GANs are capable of generating realistic-looking medical images by FID standards that can fool trained experts in a visual Turing test and comply to some metrics. However, segmentation results suggests that no GAN is capable of reproducing the full richness of a medical datasets.

연구 동기 및 목표

• 다양한 장기와 모달리티에 걸쳐 현실적인 의료 영상을 합성하는 GAN 아키텍처의 성능을 평가한다.
• 합성 의료 영상이 다운스트림 작업(예: 분할)의 학습에 효과적으로 보강될 수 있는지 판단한다.
• 표준 GAN 충실도 지표(FID)와 다운스트림 작업 성능 간의 관계를 조사한다.
• 데이터 규모, 연산 자원, 안정성 등 의료 영상 GAN 활용에 영향을 주는 실무적 고려사항을 식별한다.

제안 방법

• 인기와 하드웨어 호환성에 기반해 GAN 아키텍처(DCGAN, LSGAN, WGAN, HingeGAN, SPADE, StyleGAN)를 선택한다.
• 세 가지 데이터셋(ACDC 심근 Cine-MRI, SLIVER07 간 CT, IDRiD 망막 영상)에 대해 광범위한 하이퍼파라미터 탐색(~500 GPU-일)으로 GAN을 학습시킨다.
• 생성 이미지의 충실도는 Frechet Inception Distance(FID)로 평가하고, 합성 데이터를 이용해 U-Net 분할 모델을 학습시켜 실제 테스트 세트에서 Dice 점수로 다운스트림 유용성을 측정한다.
• GAN이 학습하는 결합 분포를 위해 이미지 채널과 마스크 채널을 합친다( SPADE는 분할 마스크에 조건화되어 있음).
• 증강된 실제 데이터, 합성 데이터 단독, 그리고 이들의 조합 간 성능을 비교하여 실무적 활용도를 평가한다.
• GAN의 학습을 안정화하기 위해 사용된 트릭(레이블 스무딩, 피처 매칭, 미분 가능한 증강 등)을 논의한다.

실험 결과

연구 질문

• RQ1 최신 GAN과 고전 GAN이 MRI, CT, 망막 데이터셋에서 의학적으로 타당하고 다양한 이미지를 생성하는가?
• RQ2 GAN 생성 이미지가 실제 데이터로 학습된 다운스트림 분할 네트워크를 실질적으로 보강할 수 있는가?
• RQ3 의료 영상에서 FID 점수와 작업별 Dice 점수 간의 관계는 어떠하며, 더 나은 도메인 관련 지표가 있는가?
• RQ4 데이터 세트 규모, 3D 고려사항, 연산 자원 등 어떤 실무적 요인이 의료 영상에서 GAN 기반 합성 데이터의 효과에 영향을 미치는가?

주요 결과

• StyleGAN과 SPADE가 데이터셋 전반에서 최상의 이미지 충실도와 최고 Dice 점수를 달성하며, StyleGAN은 ACDC에서 87% Dice에 도달했고 SPADE는 데이터세트에 따라 0.82–0.86 Dice를 달성한다.
• 간단한 GAN들(DCGAN, LSGAN, WGAN, HingeGAN)은 성능이 저조하거나 가변적이며, 종종 축소된 이미지와 불일치한 분할 성능을 보인다.
• GAN 생성 데이터가 실제 데이터로 얻은 분할 성능과 거의 일치하지 않으며, GAN 데이터 보강이 전통적 증강을 보강하는 수준에 머무르는 경우가 많다.
• FID는 인간이 평가한 시각적 품질과 상관관계가 있지만 다운스트림 분할 성능을 신뢰성 있게 예측하지 못한다. 예를 들어 FID가 낮고 Dice가 높은 일부 모델이 있지만(예: IDRiD의 SPADE GAN, FID 1.09, Dice 0.82) 이는 예외적이다.
• 더 많은 데이터(예: SLIVER07와 같이 큰 데이터셋)가 일반적으로 FID와 다운스트림 성능을 개선하는 경향이 있다가도, 작은 데이터셋(IDRiD)과 비교할 때 차이가 나타난다.
• 고품질의 의료 합성은 종종 현대적이고 계산 집약적인 아키텍처를 필요로 하며, 데이터가 본질적으로 3D일 때 2D GAN의 한계로 인해 추가 제약이 있을 수 있다.