[论文解读] Generating Fundus Fluorescence Angiography Images from Structure Fundus Images Using Generative Adversarial Networks

Wanyue Li, Wen Kong+5 more|arXiv (Cornell University)|Jan 29, 2020

Retinal Imaging and Analysis被引用 2

一句话总结

本文提出一种条件生成对抗网络（cGAN），可将结构型眼底图像转换为合成荧光素血管造影（FA）图像，实现无创的血管可视化。通过将局部显著性图整合到一种新型显著性损失中，该模型提升了小血管和渗漏特征的重建精度，为侵入性FA成像提供了一种更安全的替代方案。

ABSTRACT

Fluorescein angiography can provide a map of retinal vascular structure and function, which is commonly used in ophthalmology diagnosis, however, this imaging modality may pose risks of harm to the patients. To help physicians reduce the potential risks of diagnosis, an image translation method is adopted. In this work, we proposed a conditional generative adversarial network(GAN) - based method to directly learn the mapping relationship between structure fundus images and fundus fluorescence angiography images. Moreover, local saliency maps, which define each pixel's importance, are used to define a novel saliency loss in the GAN cost function. This facilitates more accurate learning of small-vessel and fluorescein leakage features.

研究动机与目标

• 通过从非侵入性结构型眼底图像生成合成FA图像，降低与侵入性荧光素血管造影（FA）相关的患者风险。
• 解决利用深度学习在合成FA图像中保留细小血管和渗漏特征的挑战。
• 通过引入强调像素级重要性的显著性感知损失函数，提升生成FA图像的特征保真度。
• 开发一种基于GAN的图像到图像翻译框架，学习结构与功能性视网膜成像模态之间的复杂映射关系。

提出的方法

• 训练一种条件生成对抗网络（cGAN），以学习从结构型眼底图像到对应荧光素血管造影（FA）图像的映射关系。
• 计算局部显著性图，以识别具有高诊断重要性的像素，如小血管和渗漏区域。
• 通过基于这些显著性图加权对抗损失，提出一种新型显著性损失，增强对关键解剖结构的关注。
• 使用包含对抗损失、L1重建损失和显著性加权损失的联合损失函数对生成器网络进行优化。
• 判别器网络用于区分真实FA图像与生成图像，确保输出具有逼真的纹理和血管模式。
• 在成对的结构型与FA眼底图像上端到端训练模型，实现无需显式分割或特征标注的精确转换。

实验结果

研究问题

• RQ1 深度生成模型能否在无需侵入性操作的情况下，准确地从结构型眼底图像合成荧光素血管造影图像？
• RQ2 将局部显著性图整合进来，能否提升生成FA图像中小血管和渗漏特征的保真度？
• RQ3 与标准GAN损失相比，所提出的显著性感知损失函数在多大程度上提升了诊断相关性？
• RQ4 该模型是否在生成的FA输出中保留了临床上相关的血管模式和病理特征？

主要发现

• 所提出的方法成功生成了保留精细血管结构和渗漏特征的高保真度合成FA图像。
• 将显著性图整合到损失函数中，显著提升了模型重建小血管和病理性渗漏区域的能力。
• 与标准GAN损失相比，显著性感知损失带来了更准确的特征学习，体现在结构相似性和感知质量的提升。
• 该模型实现了与真实FA图像相当的感知质量，支持其在临床决策支持中的潜在应用。