[论文解读] A Generic Fundus Image Enhancement Network Boosted by Frequency Self-supervised Representation Learning

Heng Li, Haofeng Liu+6 more|PubMed|Sep 2, 2023

Retinal Imaging and Analysis参考文献 44被引用 9

一句话总结

GFE-Net 在无需监督数据的情况下通过从基于频率的自监督学习结构感知表征并将其无缝耦合到图像增强中来增强退化的眼底图像。它在跨数据集实现稳健、可泛化的结果，部署效率更高。

ABSTRACT

Fundus photography is prone to suffer from image quality degradation that impacts clinical examination performed by ophthalmologists or intelligent systems. Though enhancement algorithms have been developed to promote fundus observation on degraded images, high data demands and limited applicability hinder their clinical deployment. To circumvent this bottleneck, a generic fundus image enhancement network (GFE-Net) is developed in this study to robustly correct unknown fundus images without supervised or extra data. Levering image frequency information, self-supervised representation learning is conducted to learn robust structure-aware representations from degraded images. Then with a seamless architecture that couples representation learning and image enhancement, GFE-Net can accurately correct fundus images and meanwhile preserve retinal structures. Comprehensive experiments are implemented to demonstrate the effectiveness and advantages of GFE-Net. Compared with state-of-the-art algorithms, GFE-Net achieves superior performance in data dependency, enhancement performance, deployment efficiency, and scale generalizability. Follow-up fundus image analysis is also facilitated by GFE-Net, whose modules are respectively verified to be effective for image enhancement.

研究动机与目标

• 解决在未知退化眼底图像缺乏监督或测试数据访问的挑战。
• 利用频率信息从退化图像中学习鲁棒、保持结构的表征。
• 在无对抗训练的情况下，将表征学习与图像增强无缝整合在一个架构中。
• 在多个数据集上展示数据效率、泛化能力和部署实用性。

提出的方法

• 引入频率自监督表征学习（SSRL），以从退化的眼底视图中学习结构感知表征。
• 从清晰的眼底图像合成退化视图，以在无需额外标注的情况下训练 SSRL。
• 将高频图（HFM）重构作为 SSRL 的前瞻任务，以保留视网膜结构。
• 耦合一个共享编码器与两个解码器：一个用于表征学习（D_R），一个用于图像增强（D_E）。
• 用复合损失 L_total = L_R + L_E + L_cyc 进行端到端训练，无需对抗训练。
• 利用类 U-Net 的架构和显式目标函数，以确保收敛性和稳定性。

实验结果

研究问题

• RQ1 一个通用的眼底图像增强模型是否能够仅使用合成数据纠正未知的退化图像？
• RQ2 基于频率的自监督学习是否在保持视网膜结构方面优于传统的有监督或对抗方法？
• RQ3 将 SSRL 与增强结合如何影响数据依赖性、部署效率和规模泛化？
• RQ4 在不同退化类型（成像干扰和白内障）下，GFE-Net 在跨数据集上的性能如何？

主要发现

• 与最先进基线相比，GFE-Net 在提升性能的同时降低了数据依赖性。
• 频率自监督学习组件在增强过程中保留了视网膜结构。
• 训练收敛高效，避免了对抗训练的陷阱，部署成本具有竞争力。
• GFE-Net 展现出在不同退化类型（成像干扰和白内障）数据集上的强泛化能力。
• 在合成数据上训练的模型可以在多个数据集上应用，无需测试数据访问或额外微调。