[论文解读] Modeling and Enhancing Low-quality Retinal Fundus Images

Ziyi Shen, Huazhu Fu+2 more|arXiv (Cornell University)|May 12, 2020

Retinal Imaging and Analysis参考文献 52被引用 9

一句话总结

本文提出 cofe-Net，一种面向临床的深度学习框架，通过建模检眼镜特有的退化因素（如光照不均、模糊和伪影），在保留关键解剖结构和病理特征的同时，提升低质量眼底图像的质量。该方法采用新颖的退化模型与双模块（RSA 和 LQA），有效抑制低质量因素，提升诊断准确性，在血管分割和视盘/杯体检测任务中，F-score 最高提升 10%。

ABSTRACT

Retinal fundus images are widely used for the clinical screening and diagnosis of eye diseases. However, fundus images captured by operators with various levels of experience have a large variation in quality. Low-quality fundus images increase uncertainty in clinical observation and lead to the risk of misdiagnosis. However, due to the special optical beam of fundus imaging and structure of the retina, natural image enhancement methods cannot be utilized directly to address this. In this paper, we first analyze the ophthalmoscope imaging system and simulate a reliable degradation of major inferior-quality factors, including uneven illumination, image blurring, and artifacts. Then, based on the degradation model, a clinically oriented fundus enhancement network (cofe-Net) is proposed to suppress global degradation factors, while simultaneously preserving anatomical retinal structures and pathological characteristics for clinical observation and analysis. Experiments on both synthetic and real images demonstrate that our algorithm effectively corrects low-quality fundus images without losing retinal details. Moreover, we also show that the fundus correction method can benefit medical image analysis applications, e.g., retinal vessel segmentation and optic disc/cup detection.

研究动机与目标

• 解决因操作者技能、设备及环境条件差异导致的低质量眼底图像问题，此类问题会阻碍临床诊断与自动化分析。
• 对检眼镜成像中特有的光学退化因素（如光照不均、模糊和伪影）进行建模，这些因素特指眼底成像中的退化现象。
• 开发一种面向临床的增强网络，在校正过程中保留关键解剖结构（如血管、视盘/杯体）和病理特征（如微动脉瘤、出血灶）。
• 证明图像增强可提升下游临床任务（如血管分割和视盘/杯体检测）的性能，使用真实与合成的退化图像进行验证。

提出的方法

• 设计基于物理的退化模型，模拟检眼镜成像的各个阶段，包括光传输干扰、图像模糊化以及视网膜伪影。
• 提出 cofe-Net，一种深度神经网络，包含两个新颖模块：视网膜结构激活（RSA）用于保留解剖特征，临床低质量激活（LQA）用于抑制伪影与光照问题。
• 集成受人类视觉感知启发的损失函数，强调伪影抑制与结构保真度，从而提升增强图像的视觉与定量质量。
• 使用退化模型生成的成对合成图像进行网络训练，实现校正映射的端到端学习。
• 在训练过程中使用感知与结构度量（如 F-score、Jaccard 评分），优先保障临床相关特征的保留。
• 在真实世界眼底图像与基准数据集（DRIVE、REFUGE）上验证方法，证明其对真实世界退化模式具有鲁棒性。

实验结果

研究问题

• RQ1 如何准确建模检眼镜特有的退化因素（如光照不均、模糊和伪影），以实现眼底图像增强？
• RQ2 基于深度学习的增强网络能否在抑制低质量伪影的同时，保留眼底图像中的关键解剖结构（如血管、视盘/杯体）？
• RQ3 图像增强在多大程度上能提升下游临床任务（如血管分割和视盘/杯体检测）的性能？
• RQ4 增强后的图像是否能保持微小病理特征（如微动脉瘤、出血灶）的可见性，避免其与噪声或伪影混淆？
• RQ5 与通用图像增强技术相比，所提出方法在临床相关性与诊断实用性方面表现如何？

主要发现

• 所提出的退化模型成功模拟了真实世界检眼镜成像中的退化现象，包括光照不均、模糊与伪影，实现了逼真的合成数据生成。
• cofe-Net 在校正图像上的血管分割 F-score 达到 0.890，相比 SOTA 方法（如 Eilertsen et al. [8] 和 Fu et al. [27]）提升 1.5–2.5%。
• 该方法将视盘/杯体检测的 Jaccard 评分提升至 0.863，相比基线模型提升 1.5–2.0%，表明结构清晰度显著增强。
• 增强图像成功保留了微小病理特征（如微动脉瘤与出血灶），经 Kaggle 数据集图像的病灶级分析得到验证。
• 该校正方法显著提升了真实临床图像的性能，使 CE-Net 与 M-Net 能够实现更准确的分割，视觉与定量对比结果均显示其优越性。
• RSA 与 LQA 模块有效平衡了伪影抑制与结构保留，优于通常会使临床特征模糊或失真的通用增强网络。