[论文解读] Generative Adversarial Networks Synthesize Realistic OCT Images of the Retina

Stephen G. Odaibo, D., M.+2 more|arXiv (Cornell University)|Feb 18, 2019

Retinal Imaging and Analysis参考文献 33被引用 5

一句话总结

本研究首次实现了生成对抗网络（GANs）在视网膜光学相干断层扫描（OCT）图像端到端合成中的应用。基于500,000张增强后的OCT图像训练的条件GAN架构，该模型成功生成了高保真度的图像，准确呈现了多种视网膜病理特征，包括黄斑裂孔、囊样黄斑水肿和中心性浆液性视网膜病变，展示了其在手术模拟、治疗方案规划和药物研发中的潜力。

ABSTRACT

We report, to our knowledge, the first end-to-end application of Generative Adversarial Networks (GANs) towards the synthesis of Optical Coherence Tomography (OCT) images of the retina. Generative models have gained recent attention for the increasingly realistic images they can synthesize, given a sampling of a data type. In this paper, we apply GANs to a sampling distribution of OCTs of the retina. We observe the synthesis of realistic OCT images depicting recognizable pathology such as macular holes, choroidal neovascular membranes, myopic degeneration, cystoid macular edema, and central serous retinopathy amongst others. This represents the first such report of its kind. Potential applications of this new technology include for surgical simulation, for treatment planning, for disease prognostication, and for accelerating the development of new drugs and surgical procedures to treat retinal disease.

研究动机与目标

• 开发一种能够生成具有临床相关病理特征的逼真视网膜OCT图像的生成模型。
• 探索使用GANs扩充有限的医学影像数据集在视网膜疾病研究中的可行性。
• 评估GAN是否能够生成训练数据中未出现过的新型、多样化且解剖学上合理的视网膜病理。
• 评估合成OCT图像在医学教育、手术模拟和疗法开发等下游应用中的潜力。

提出的方法

• 在配备600 GB内存的8核NVIDIA V100 GPU上，使用Keras实现了一个深度卷积神经网络GAN。
• 生成器采用转置卷积层，配合LeakyReLU激活函数，并在所有层上应用批量归一化，将随机噪声向量上采样为2D类似OCT的图像。
• 判别器使用Sigmoid激活函数且不使用批量归一化，通过二元交叉熵损失区分真实与生成的OCT图像。
• 在包含正常视网膜及多种病理的500,000张增强OCT图像数据集上，训练了100,000个周期。
• 模型采用标准GAN对抗损失，潜在向量维度为100，通过反向传播最小化生成器和判别器的损失。
• 训练过程中监控损失曲线以评估收敛性和对抗稳定性，波动现象表明生成器与判别器之间的竞争持续进行。

实验结果

研究问题

• RQ1 GAN能否生成反映已知病理特征的逼真、具有临床合理性的视网膜OCT图像？
• RQ2 该GAN模型在生成训练数据中未明确包含的新型或罕见视网膜病理方面，其泛化能力如何？
• RQ3 当应用于高分辨率、复杂的医学影像数据（如OCT）时，GAN的训练过程在稳定性和收敛性方面表现如何？
• RQ4 合成图像是否可在下游应用（如手术模拟或治疗方案规划）中实现有意义的使用？
• RQ5 领域专业知识在评估合成OCT图像的质量与实用性方面发挥何种作用？

主要发现

• 在训练99,800个周期后，GAN成功生成了高保真度、逼真的视网膜OCT图像，包括黄斑裂孔和视网膜下液等复杂病理特征。
• 该模型展示了合成多种视网膜病理图像的能力，包括囊样黄斑水肿、渗出性和非渗出性黄斑变性以及中心性浆液性视网膜病变。
• 生成器与判别器的损失曲线均趋于零并呈现持续波动，表明在看似稳定后仍存在持续的对抗训练过程。
• 早期训练动态显示生成器与判别器损失曲线发生交叉，与初始判别器占优及随后生成器性能提升的模式一致。
• 最终生成的图像在临床外观上与真实OCT扫描几乎无法区分，表明其与真实数据分布具有极强的对齐性。
• 本研究结果为首次报道使用GAN实现视网膜OCT图像的端到端合成，为医学影像研究与应用开辟了新途径。