[논문 리뷰] Synthetic Medical Images from Dual Generative Adversarial Networks

John Guibas, Tejpal S. Virdi외 1명|arXiv (Cornell University)|2017. 09. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 111

한 줄 요약

본 논문은 의학 영상 생성을 기하학(스테이지 I)과 사진 실재감(스테이지 II)으로 분해하는 2단계 GAN 파이프라인을 제시하여 합성 망막 촬영 이미지(retinal fundus images)를 생성하고, 프라이버시를 보존하면서 공개 데이터 접근을 용이하게 한다.

ABSTRACT

Currently there is strong interest in data-driven approaches to medical image classification. However, medical imaging data is scarce, expensive, and fraught with legal concerns regarding patient privacy. Typical consent forms only allow for patient data to be used in medical journals or education, meaning the majority of medical data is inaccessible for general public research. We propose a novel, two-stage pipeline for generating synthetic medical images from a pair of generative adversarial networks, tested in practice on retinal fundi images. We develop a hierarchical generation process to divide the complex image generation task into two parts: geometry and photorealism. We hope researchers will use our pipeline to bring private medical data into the public domain, sparking growth in imaging tasks that have previously relied on the hand-tuning of models. We have begun this initiative through the development of SynthMed, an online repository for synthetic medical images.

연구 동기 및 목표

• 공개적으로 의료 영상 데이터에 대한 접근를 동기화하고 현실적인 합성 이미지를 생성한다.
• 의학 영상에서 딥러닝 모델 학습을 위한 개인 환자 데이터 의존도를 줄인다.
• 이미지 생성을 기하 중심 스테이지와 사진 실재성 중심 스테이지로 분리하여 안정성 및 다양성을 향상시킨다.

제안 방법

• Stage-I GAN (DCGAN)이 이미지의 기하를 나타내는 다양한 세그먼테이션 마스크를 생성한다.
• Stage-II GAN (CGAN with image-to-image translation)이 세그먼테이션 마스크를 사진 실재 이미지로 매핑한다.
• 학습은 세그먼테이션 마스크에 대해 DRIVE를, 사진 실재 페어에 대해 MESSIDOR를 사용하고 단일 GAN 모델과의 비교를 수행한다.
• 합성 데이터로 학습된 U-net 세그먼테이션 네트워크를 세그먼테이션 작업의 유용성을 평가하기 위해 훈련시킨다.
• 평가에는 F1 점수, 합성 데이터 분포와 실제 데이터 분포 사이의 KL-발산, 정성적 분석이 포함된다.

실험 결과

연구 질문

• RQ1 듀얼-GAN 파이프라인이 기하학과 사진 실재감을 모두 갖춘 합성 의학 영상을 생성할 수 있는가?
• RQ2 파이프라인에서 생성된 합성 데이터가 의료 영상 세그먼테이션 모델의 효과적인 학습을 지원하는가?
• RQ3 합성 데이터 분포가 KL 발산과 F1 성능 측면에서 실제 데이터와 비교하여 어떤 차이를 보이는가?
• RQ4 이 접근법이 망막 영상 이외의 데이터 세트(예: BU-BIL 랫 세포 이미지)로 일반화될 수 있는가?

주요 결과

• 합성으로 학습된 U-net의 F1 = 0.8877로, DRIVE에서 학습된 U-net의 F1 = 0.8988에 근접했다.
• 합성 데이터의 KL-발산이 4.759로, 실데이터 부분 비교의 4.212e-4 대비 관찰 가능하지만 동일하지 않은 분포 차이를 보인다.
• 기하를 사진 실재성으로 분리함으로써 이미지 품질이 향상되고 학습이 더 안정적이며 더 다양한 이미지를 생성할 수 있었다.
• 이 파이프라인은 합성 망막 이미지와 세그먼테이션 마스크를 성공적으로 생성하였고 다른 영역(BU-BIL 랫 세포)으로의 전이를 보여주었다.
• 정성적 결과는 Stage-II가 기하-사진 실재 매핑을 학습하고 Stage-I이 다양한 세그먼트 기하를 생성함을 시사한다.