[논문 리뷰] High-resolution medical image synthesis using progressively grown generative adversarial networks

Andrew Beers, James M. Brown외 5명|arXiv (Cornell University)|2018. 05. 08.

Cell Image Analysis Techniques인용 수 49

한 줄 요약

본 논문은 progressively grown GANs (PGGANs)를 적용하여 망막Fundus 및 다중 모달 뇌종양 MRI에서 고해상도 의학 영상을 생성하고, 분할 채널이 병리학적 세부 정보를 개선한다는 것과 잠재 공간이 임상적으로 관련된 정보를 인코딩한다는 것을 보여준다.

ABSTRACT

Generative adversarial networks (GANs) are a class of unsupervised machine learning algorithms that can produce realistic images from randomly-sampled vectors in a multi-dimensional space. Until recently, it was not possible to generate realistic high-resolution images using GANs, which has limited their applicability to medical images that contain biomarkers only detectable at native resolution. Progressive growing of GANs is an approach wherein an image generator is trained to initially synthesize low resolution synthetic images (8x8 pixels), which are then fed to a discriminator that distinguishes these synthetic images from real downsampled images. Additional convolutional layers are then iteratively introduced to produce images at twice the previous resolution until the desired resolution is reached. In this work, we demonstrate that this approach can produce realistic medical images in two different domains; fundus photographs exhibiting vascular pathology associated with retinopathy of prematurity (ROP), and multi-modal magnetic resonance images of glioma. We also show that fine-grained details associated with pathology, such as retinal vessels or tumor heterogeneity, can be preserved and enhanced by including segmentation maps as additional channels. We envisage several applications of the approach, including image augmentation and unsupervised classification of pathology.

연구 동기 및 목표

• PGGANs가 임상적으로 관련 있는 영역에서 고해상도 의학 영상을 생성할 수 있음을 시연한다.
• 추가 채널로 분할 맵을 포함시키면 미세한 병리 세부 정보가 보존됨을 보여준다.
• 합성 의학 영상의 현실감과 다양성을 평가하고 데이터 증강 및 비지도 학습 가능성을 검토한다.
• PGGANs의 잠재 공간을 탐색하여 임상적으로 의미 있는 특성이 인코딩되는지 확인한다.

제안 방법

• GANs를 점진적으로 성장시키며 4x4에서 512x512까지(또는 MRI의 경우 256x256) 이미지 해상도를 점진적으로 증가시키는 생성기와 판별기를 훈련한다.
• Wasserstein 손실과 생성기-판별기 업데이트를 동등하게 사용하여 학습한다.
• 진단적으로 관련된 구조의 합성을 안내하기 위해 분할 맵을 추가 채널로 포함시킨다.
• 별도의 네트워크로 실제 이미지를 잠재 공간에 인코딩하여 잠재 표현을 연구하고 잠재 공간에서 최근접 이웃 탐색을 수행한다.
• 합성 fundus 이미지의 품질을 질적으로 평가하고 분할 알고리즘을 통해 평가한다(혈관 분할 참조에 대해 AUC 0.97로 보고).
• 데이터 전처리를 도메인 특화 단계로 수행한다(망막 혈관 분할; BraTS MR 모달리티 T1, T1, T2, FLAIR).

실험 결과

연구 질문

• RQ1 망막 fundus 및 뇌종양 MRI 데이터에서 progressively grown GANs를 사용하여 고해상도 의학 영상을 설득력 있게 합성할 수 있는가?
• RQ2 추가 채널로 분할 맵을 포함시키는 것이 진단에 중요한 구조의 보존을 개선하는가?
• RQ3 PGGAN의 잠재 공간이 임상적으로 의미 있는 정보를 인코딩하는가, 비지도 특징 학습 및 최근접 이웃 검색이 가능한가?
• RQ4 모달리티와 병리학에 걸친 합성 이미지의 다양성과 현실성은 어느 정도인가?
• RQ5 다기관 생명 의학 영상에서 합성 데이터가 이미지 증강이나 모달리티 간 합성에 기여할 수 있는가?

주요 결과

• PGGANs는 고해상도에서 고품질의 다양하고 합성된 망막 fundus 및 다중 모달 MRI 이미지를 생성했다.
• 분할 채널 보강이 병리의 시각화를 개선하고 진단에 중요한 세부 정보를 보존했다.
• 합성 혈관 맵은 분할 알고리즘에 의해 실제 혈관 구조와 높은 정렬을 달성하는 데 사용될 수 있었다(AUC ~0.97로 테스트 설정에서).
• 잠재 공간 인코딩은 해석 가능한 구조를 드러냈으며, 예를 들어 오른쪽 대 왼쪽 눈 및 뇌 슬라이스를 통한 축 방향 진행이 나타났다.
• 실제 이미지를 잠재 공간에 인코딩하면 대략적인 최근접 이웃 검색이 가능해져 비지도 특징 학습 및 데이터 증강 가능성을 시사한다.