[논문 리뷰] SkrGAN: Sketching-rendering Unconditional Generative Adversarial Networks for Medical Image Synthesis

Tianyang Zhang, Huazhu Fu외 8명|arXiv (Cornell University)|2019. 08. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 4

한 줄 요약

SkrGAN은 의료 영상 합성을 두 단계로 분해하는 새로운 비조건부 GAN으로, 구조적 정밀도를 향상시키기 위해 스케치 사전 지식을 활용한다. 먼저 스케치 생성을 수행한 후 색상 렌더링을 수행한다. 이는 망막, X선, CT, MRI 영상 합성에서 최신 기술 수준의 성능을 달성하며, 데이터 증강을 통해 분할 정확도를 크게 향상시킨다.

ABSTRACT

Generative Adversarial Networks (GANs) have the capability of synthesizing images, which have been successfully applied to medical image synthesis tasks. However, most of existing methods merely consider the global contextual information and ignore the fine foreground structures, e.g., vessel, skeleton, which may contain diagnostic indicators for medical image analysis. Inspired by human painting procedure, which is composed of stroking and color rendering steps, we propose a Sketching-rendering Unconditional Generative Adversarial Network (SkrGAN) to introduce a sketch prior constraint to guide the medical image generation. In our SkrGAN, a sketch guidance module is utilized to generate a high quality structural sketch from random noise, then a color render mapping is used to embed the sketch-based representations and resemble the background appearances. Experimental results show that the proposed SkrGAN achieves the state-of-the-art results in synthesizing images for various image modalities, including retinal color fundus, X-Ray, Computed Tomography (CT) and Magnetic Resonance Imaging (MRI). In addition, we also show that the performances of medical image segmentation method have been improved by using our synthesized images as data augmentation.

연구 동기 및 목표

• 기존 GAN 기술이 혈관, 뼈 등 미세한 해부학적 구조를 의료 영상 합성에서 유지하는 데에 한계가 있다는 문제를 해결하기 위해.
• 사람이 그림을 그리는 방식(먼저 구조 스케치를 그리고 나서 색상 렌더링을 수행함)을 모방하는 스케치 사전 지식을 도입하여 생성 품질을 향상시키기 위해.
• 깊이 맵과 같은 조건부 지도나 쌍체 데이터가 필요 없는 비조건부 GAN을 개발하기 위해.
• SkrGAN이 생성한 영상이 데이터 증강 수단으로서 작동하여 후속 의료 영상 분할 성능을 향상시킬 수 있는지 평가하기 위해.

제안 방법

• 이 방법은 두 단계 아키텍처를 사용한다: 무작위 노이즈에서 스케치를 생성하는 스케치 가이던스 모듈 $G_S$ 를 스케치 판별자 $D_S$ 에 의해 유도한다.
• 그 후 색상 렌더링 매핑 모듈 $G_P$ 가 스케치 표현과 배경 외관 모델링을 융합하여 최종 색상 영상을 생성하며, 픽셀 수준의 판별자 $D_P$ 를 사용한다.
• 스케치 가이던스 모듈은 적대적 손실과 인지적 감독을 통해 혈관, 뼈와 같은 미세한 해부학적 구조를 유지하도록 훈련된다.
• 색상 렌더링 모듈은 스케치를 조건으로 하여 실제 텍스처와 강도를 생성하도록 학습되며, 적대적 손실과 사이클 일致성 손실을 통해 정확도를 보장한다.
• 스케치 생성 단계의 정확도를 향상시키기 위해 실제 영상에서 스케치 드래フト 데이터셋을 구축하였다.
• 전체 훈련 과정은 GAN 손실, 인지적 손실, 구조적 유사도(MS-SSIM) 손실을 함께 최적화하여 엔드 투 엔드로 수행된다.

실험 결과

연구 질문

• RQ1 스케치 유도 두 단계 GAN 아키텍처가 혈관, 뼈와 같은 미세한 해부학적 구조를 유지하는 데 있어 생성된 의료 영상의 정밀도를 향상시킬 수 있는가?
• RQ2 SkrGAN은 DCGAN, WGAN, PGGAN 등 최신 비조건부 GAN들과 비교해 다양한 의료 영상 모odalities를 합성하는 데서 어떤 성능을 보이는가?
• RQ3 SkrGAN이 생성한 영상이 데이터 증강을 통해 후속 의료 영상 분할 작업의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 스케치 사전 지식을 사용할 경우, 직접 노이즈에서 영상으로 생성하는 GAN보다 더 안정적이고 제어 가능한 영상 생성이 가능한가?

주요 결과

• 망막 후면도 영상에서 SkrGAN은 FID 27.59를 기록하여 DCGAN(64.83), ACGAN(96.72), WGAN(240.7), PGGAN(110.8)을 모두 앞서며 최저 기록을 달성했다.
• 폐 X선 영상에서 SkrGAN은 FID 114.6을 기록하여 DCGAN(260.3), ACGAN(235.2), WGAN(300.7), PGGAN(124.2)보다 유의미하게 낮았다.
• 폐 CT 영상에서 SkrGAN은 FID 79.97을 기록하여 DCGAN(285.0), ACGAN(222.5), WGAN(349.1), PGGAN(91.89)을 모두 앞섰다.
• 뇌 MRI 영상에서 SkrGAN은 FID 27.51을 기록하여 DCGAN(285.0), ACGAN(222.5), WGAN(176.1), PGGAN(33.76)을 초월했다.
• DRIVE 데이터셋에서 혈관 분할 작업에서 SkrGAN이 생성한 영상을 사전 훈련에 사용하면 민감도가 0.7781에서 0.8464로 상승하여 상대적 향상률 8.78%를 기록했다.
• SkrGAN이 생성한 데이터를 사용한 사전 훈련 시 AUC와 정확도도 향상되었으며, 이는 데이터 증강 전략으로서의 효과를 확인시켰다.