[论文解读] Retinal Vasculature Segmentation Using Local Saliency Maps and Generative Adversarial Networks For Image Super Resolution

Dwarikanath Mahapatra, Behzad Bozorgtabar|arXiv (Cornell University)|Oct 13, 2017

Advanced Image Processing Techniques参考文献 88被引用 39

一句话总结

本文提出一种基于生成对抗网络（GAN）的视网膜眼底图像超分辨率方法，通过将基于曲率和熵的特征图提取的局部显著性图整合到新型显著性损失函数中，以提升图像的感知质量与结构保真度。该方法在超分辨率任务中达到最先进性能，并在16×缩放因子下实现了接近原始高分辨率图像的视网膜血管分割精度。

ABSTRACT

We propose an image super resolution(ISR) method using generative adversarial networks (GANs) that takes a low resolution input fundus image and generates a high resolution super resolved (SR) image upto scaling factor of $16$. This facilitates more accurate automated image analysis, especially for small or blurred landmarks and pathologies. Local saliency maps, which define each pixel's importance, are used to define a novel saliency loss in the GAN cost function. Experimental results show the resulting SR images have perceptual quality very close to the original images and perform better than competing methods that do not weigh pixels according to their importance. When used for retinal vasculature segmentation, our SR images result in accuracy levels close to those obtained when using the original images.

研究动机与目标

• 解决低分辨率视网膜眼底图像限制对微小病灶和细小血管结构准确检测的问题。
• 克服现有基于GAN的超分辨率方法在高倍缩放因子（如16×）下难以保持局部结构细节的局限性。
• 设计一种新型损失函数，通过基于局部显著性图的像素感知重要性加权，提升图像保真度。
• 证明使用所提方法生成的超分辨率图像可实现接近原始高分辨率图像的视网膜血管分割性能。

提出的方法

• 利用二阶图像导数计算曲率图，以捕捉视网膜图像中的局部结构信息。
• 从7×7邻域生成熵图，量化视网膜结构的紧凑性与连续性，随后取反并归一化，以突出紧凑区域。
• 通过组合曲率图与反向熵特征的绝对差值图，并引入可学习的平衡参数（w₁ = 0.4），构建局部显著性图。
• 将显著性图整合进GAN损失函数，作为加权感知损失，替代标准的MSE或基于特征的损失。
• 使用判别器区分真实高分辨率图像与生成的超分辨率图像，对基于ResNet的生成器进行对抗性训练。
• 采用混合损失函数，结合所提出的显著性加权损失与CNN特征损失，以同时保持结构与感知质量。

实验结果

研究问题

• RQ1 与标准GAN损失相比，基于曲率和熵特征提取的局部显著性图是否能提升超分辨率视网膜图像的感知质量？
• RQ2 通过显著性图实现像素级重要性加权，是否能更有效地保留细小视网膜结构（如小血管分支和微动脉瘤）？
• RQ3 所提超分辨率方法在多大程度上可使下游视网膜血管分割任务的性能接近原始高分辨率图像的水平？
• RQ4 在高倍缩放因子（最高达16×）下，与当前最先进基于GAN及非GAN的超分辨率技术相比，该方法在定量指标（SSIM、PSNR、RMSE）和视觉质量方面表现如何？

主要发现

• 所提方法SRGAN_Sal在4×缩放下达到SSIM = 0.83、RMSE = 6.9、PSNR = 38.6 dB，优于SRGAN_Ledig及其他基线方法。
• 在16×缩放下，该方法保持了高感知质量并有效保留了细小视网膜结构，视觉结果表明其在小血管分支的清晰度上优于对比方法。
• 在DRIVE数据集上，使用SRGAN_Sal进行视网膜血管分割在4×缩放下获得准确率（Acc）0.96与敏感度（Sen）0.77，接近真实值（Acc = 0.98，Sen = 0.79）。
• 仅使用显著性损失（无CNN损失）时，SSIM在4×缩放下达到0.81，证明其在保持结构内容方面的有效性。
• 显著性损失与CNN损失的结合显著优于单一损失，Wilcoxon符号秩检验结果表明具有统计显著性。
• 视觉对比显示，SRGAN_Sal生成的图像更锐利，血管细节更清晰，而SRGAN_Ledig与SRCNN等对比方法在细小结构处表现出明显模糊。