[论文解读] High-resolution medical image synthesis using progressively grown generative adversarial networks

Andrew Beers, James M. Brown+5 more|arXiv (Cornell University)|May 8, 2018

Cell Image Analysis Techniques被引用 49

一句话总结

本论文将渐进生长的GAN（PGGANs）应用于在视网膜底部和多模态胶质瘤MRI中生成高分辨率医用图像，结果表明分割通道可改善病理细节，潜在空间编码了临床相关信息。

ABSTRACT

Generative adversarial networks (GANs) are a class of unsupervised machine learning algorithms that can produce realistic images from randomly-sampled vectors in a multi-dimensional space. Until recently, it was not possible to generate realistic high-resolution images using GANs, which has limited their applicability to medical images that contain biomarkers only detectable at native resolution. Progressive growing of GANs is an approach wherein an image generator is trained to initially synthesize low resolution synthetic images (8x8 pixels), which are then fed to a discriminator that distinguishes these synthetic images from real downsampled images. Additional convolutional layers are then iteratively introduced to produce images at twice the previous resolution until the desired resolution is reached. In this work, we demonstrate that this approach can produce realistic medical images in two different domains; fundus photographs exhibiting vascular pathology associated with retinopathy of prematurity (ROP), and multi-modal magnetic resonance images of glioma. We also show that fine-grained details associated with pathology, such as retinal vessels or tumor heterogeneity, can be preserved and enhanced by including segmentation maps as additional channels. We envisage several applications of the approach, including image augmentation and unsupervised classification of pathology.

研究动机与目标

• 证明PGGANs能够在临床相关领域生成高分辨率医用图像（最高512x512）。
• 展示将分割图作为额外通道加入能够保留细粒度的病理细节。
• 评估合成医用图像的真实感与多样性，以及它们在数据增强和无监督学习中的潜在应用。
• 探索PGGANs的潜在空间，以判断是否编码了临床有意义的特征。

提出的方法

• 使用GAN的渐进生长来训练生成器和判别器，使图像分辨率从4x4逐步提升至512x512（MRI为256x256）。
• 以Wasserstein损失进行训练，并进行等量的生成器与判别器更新。
• 将分割图作为额外通道加入，以引导合成诊断相关结构。
• 使用一个独立的网络将真实图像编码到潜在空间，以研究潜在表示并在潜在空间执行最近邻搜索。
• 对人工合成的眼底图像进行定性评估并通过分割算法评估图像质量（血管分割参考的AUC为0.97）。
• 使用领域特定步骤对数据进行预处理（视网膜血管分割；BraTS MR模态T1、T1、T2、FLAIR）。

实验结果

研究问题

• RQ1 是否可以在视网膜底部和胶质瘤MRI数据中使用渐进生长的GAN来令人信服地合成高分辨率医用图像？
• RQ2 将分割图作为额外通道加入是否能提高对诊断相关结构的保留？
• RQ3 PGGAN的潜在空间编码是否具有临床意义，能够实现无监督特征学习和最近邻检索？
• RQ4 跨模态与病理情形下合成图像的多样性与真实感如何？
• RQ5 合成数据是否可以促进图像增强或跨模态合成在多机构生物医学成像中的应用？

主要发现

• PGGANs生成了高质量、多样化的合成视网膜底部图像和多模态MRI图像，且分辨率很高。
• 分割通道增强改进了病理可视化并保留了诊断相关的细节。
• 合成血管图能够被分割算法用于与真实血管结构实现高度对齐（在测试设置中AUC约为0.97）。
• 潜在空间编码揭示了可解释的结构，如右眼与左眼以及在潜在/编码表示中的脑切片轴向进展。
• 将真实图像编码到潜在空间允许近似最近邻检索，表明在无监督特征学习和数据增强方面的潜力。