[论文解读] Robust deep learning for eye fundus images: Bridging real and synthetic data for enhancing generalization

Guilherme Oliveira, Gustavo Henrique de Rosa+5 more|arXiv (Cornell University)|Mar 25, 2022

Retinal Imaging and Analysis被引用 6

一句话总结

本文提出一种免费、非专利的生成高质量合成眼底图像的方法，采用StyleGAN2-ADA技术，以增强年龄相关性黄斑变性（AMD）检测的深度学习模型。结果表明，使用StyleGAN2-ADA生成的合成图像FID得分仅为166.17，临床医生难以将其与真实图像区分；而基于增强数据训练的ResNet-18分类器在AMD检测中达到85%的准确率，超过临床专家平均水平（77.5%）。

ABSTRACT

Deep learning applications for assessing medical images are limited because the datasets are often small and imbalanced. The use of synthetic data has been proposed in the literature, but neither a robust comparison of the different methods nor generalizability has been reported. Our approach integrates a retinal image quality assessment model and StyleGAN2 architecture to enhance Age-related Macular Degeneration (AMD) detection capabilities and improve generalizability. This work compares ten different Generative Adversarial Network (GAN) architectures to generate synthetic eye-fundus images with and without AMD. We combined subsets of three public databases (iChallenge-AMD, ODIR-2019, and RIADD) to form a single training and test set. We employed the STARE dataset for external validation, ensuring a comprehensive assessment of the proposed approach. The results show that StyleGAN2 reached the lowest Frechet Inception Distance (166.17), and clinicians could not accurately differentiate between real and synthetic images. ResNet-18 architecture obtained the best performance with 85% accuracy and outperformed the two human experts (80% and 75%) in detecting AMD fundus images. The accuracy rates were 82.8% for the test set and 81.3% for the STARE dataset, demonstrating the model's generalizability. The proposed methodology for synthetic medical image generation has been validated for robustness and accuracy, with free access to its code for further research and development in this field.

研究动机与目标

• 解决用于AMD检测的眼底图像数据集标注稀缺与不平衡的问题，以缓解深度学习模型训练的限制。
• 开发一种免费、易访问的非专利GAN方法，作为专利GAN方法在医学图像合成中的替代方案。
• 在多种GAN架构上评估合成眼底图像的质量与临床真实感。
• 评估合成数据是否可使深度学习模型在AMD分类性能上超越人类专家的准确率。
• 提供开源工具与预训练模型，以加速医学图像合成与分类领域的研究。

提出的方法

• 在三个公开数据集（iChallenge-AMD、ODIR-2019和RIADD）的实眼光底图像上，训练了十种不同的GAN架构，包括DCGAN、LSGAN、WGAN、WGAN-GP、DRAGAN、EBGAN、BEGAN、CGAN、ACGAN和StyleGAN2-ADA。
• 由于StyleGAN2-ADA在图像质量和模式崩溃缓解方面表现更优，因此选择其用于数据生成。
• 使用Fréchet Inception Distance（FID）评估合成图像质量，FID值越低表示图像越逼真。
• 由两名临床眼科专家进行临床评估，以判断真实图像与合成图像的可区分性。
• 在真实与合成图像混合数据集上训练ResNet-18分类器，以评估其在AMD检测中的分类性能。
• 应用Grad-CAM热力图以解释模型注意力机制，提升临床可解释性。

实验结果

研究问题

• RQ1 哪种GAN架构在FID得分与临床感知方面生成的合成眼底图像质量最高，适用于AMD检测？
• RQ2 临床专家能否可靠地区分由GAN生成的合成眼底图像与真实图像？
• RQ3 使用合成图像进行数据增强是否能提升深度学习模型在区分AMD与非AMD眼底图像方面的性能？
• RQ4 在真实与合成数据上联合训练的深度学习模型能否在AMD检测准确率上超越人类临床医生？
• RQ5 不同GAN架构在多样化的眼底图像分布与图像质量水平下，其泛化能力如何？

主要发现

• StyleGAN2-ADA实现了最低的Fréchet Inception Distance（FID）得分166.17，表明其生成的图像在感知上与真实眼底图像最为相似。
• 临床专家无法可靠区分真实图像与合成图像，分类准确率约为50%，表明其具有高度真实感与临床可信度。
• 在真实与合成图像混合数据集上训练的ResNet-18分类器在AMD检测中达到85%的准确率，超过临床专家平均准确率（77.5%）。
• StyleGAN2-ADA生成的合成图像保留了如玻璃疣等关键病理特征，体现出临床相关性。
• 该方法在性能上可与近期一项已获专利的GAN方法相媲美，但具备完全公开访问与开源实现的优势。
• 整个流程，包括预训练模型与代码，均已公开发布于https://github.com/GuiCamargoX/amd-synthetic，以支持可复现性与进一步研究。