[论文解读] Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement

Pujin Cheng, Lin Li+4 more|arXiv (Cornell University)|Mar 8, 2023

Retinal Imaging and Analysis被引用 7

一句话总结

本文提出LED，一种用于视网膜眼底图像增强的新型扩散模型，通过从数据驱动的退化过程学习增强，避免依赖手工设计的退化模型。通过建模高质量图像的分布并整合至现有增强框架，LED在最小化信息修改的前提下，实现了临床相关特征的最优保留，在多项指标上超越SOTA方法，包括VSD（+10.10）、DRA（+1.87）和FMSE降低（-5.11）。

ABSTRACT

The quality of a fundus image can be compromised by numerous factors, many of which are challenging to be appropriately and mathematically modeled. In this paper, we introduce a novel diffusion model based framework, named Learning Enhancement from Degradation (LED), for enhancing fundus images. Specifically, we first adopt a data-driven degradation framework to learn degradation mappings from unpaired high-quality to low-quality images. We then apply a conditional diffusion model to learn the inverse enhancement process in a paired manner. The proposed LED is able to output enhancement results that maintain clinically important features with better clarity. Moreover, in the inference phase, LED can be easily and effectively integrated with any existing fundus image enhancement framework. We evaluate the proposed LED on several downstream tasks with respect to various clinically-relevant metrics, successfully demonstrating its superiority over existing state-of-the-art methods both quantitatively and qualitatively. The source code is available at https://github.com/QtacierP/LED.

研究动机与目标

• 解决由于复杂且难以建模的退化（如眩光、模糊和光照不良）导致的低质量视网膜眼底图像增强挑战。
• 克服现有方法依赖手工设计退化模型或在无配对学习中出现信息修改的局限性。
• 开发一种灵活、可插拔的增强框架，兼容任何现有视网膜眼底图像增强方法。
• 通过在增强过程中保留与疾病相关的特征（如血管和视盘）来提升临床相关性。
• 在多个数据集和下游任务中，通过基于参考和无参考指标的实证验证，展示卓越性能。

提出的方法

• 采用数据驱动的退化模型，从未配对的高质量到低质量视网膜眼底图像中学习真实的退化映射。
• 训练一个条件扩散模型，利用配对的退化图像与高质量图像学习逆向增强过程。
• 将扩散模型集成至级联式粗到细框架中：基础增强网络生成粗略输出，再由扩散模型进行精细化。
• 利用非噪声的低质量图像作为辅助输入，将高质量图像嵌入高斯分布，实现平滑且连续的增强过程。
• 使用预训练的质量评估模型验证退化图像比增强图像更接近真实低质量图像，从而支持训练策略的合理性。
• 通过将扩散模型作为精炼头（refinement head）应用，实现与任何现有增强框架的推理阶段集成。

实验结果

研究问题

• RQ1 在保留临床相关特征方面，基于数据驱动退化映射训练的扩散模型是否能超越现有视网膜眼底图像增强方法？
• RQ2 与基于GAN或循环一致性方法相比，通过扩散模型建模高质量图像分布是否能减少信息修改和过度增强？
• RQ3 所提出的LED框架能否被有效且灵活地集成至现有SOTA增强流水线中以提升性能？
• RQ4 在多种视网膜眼底图像数据集上，LED框架在基于参考和无参考指标上的表现是否优于SOTA方法？
• RQ5 与其它方法相比，LED在保留病变特异性特征（如血管和视盘）方面的能力如何？

主要发现

• 与原始退化图像相比，LED在FIQA指标上提升了45.39分，表明感知质量显著增强。
• 在VSD指标上，LED相比退化基线提升了10.10分，证明其在结构细节保留方面表现更优。
• 与原始退化图像相比，LED将FMSE降低了5.11分，表明保真度更高且失真更少。
• 当与PCENet结合时，LED使DRA提升了24.66分，表明其在多疾病数据集上表现强劲，并提升了病灶检测能力。
• 在血管分割任务中，LED优化后的PCENet和I-SECRET输出展现出更清晰的血管结构且伪影极少，视觉与定量表现均优于基线方法。
• LED与I-SECRET集成后，VSD提升1.70分，DRA提升12.14分，证实其在多种增强流水线中均具有效性和普适性。