[论文解读] A Deep Retinal Image Quality Assessment Network with Salient Structure Priors

Ziwen Xu, Beiji Zou+1 more|arXiv (Cornell University)|Dec 31, 2020

Retinal Imaging and Analysis参考文献 28被引用 5

一句话总结

本文提出 SalStructIQA，一种用于视网膜图像质量评估的深度学习框架，通过在双分支或单分支卷积神经网络架构中整合大尺度和微小尺度显著结构先验（如视盘/渗出物和血管），实现性能最优。通过引导特征学习聚焦于具有诊断意义的结构，该方法在提升可解释性的同时，实现了最先进的性能，并提出一种轻量化变体，在保持竞争力准确率的前提下显著降低模型复杂度。

ABSTRACT

Retinal image quality assessment is an essential prerequisite for diagnosis of retinal diseases. Its goal is to identify retinal images in which anatomic structures and lesions attracting ophthalmologists' attention most are exhibited clearly and definitely while reject poor quality fundus images. Motivated by this, we mimic the way that ophthalmologists assess the quality of retinal images and propose a method termed SalStructuIQA. First, two salient structures for automated retinal quality assessment. One is the large-size salient structures including optic disc region and exudates in large-size. The other is the tiny-size salient structures which mainly include vessels. Then we incorporate the proposed two salient structure priors with deep convolutional neural network (CNN) to shift the focus of CNN to salient structures. Accordingly, we develop two CNN architectures: Dual-branch SalStructIQA and Single-branch SalStructIQA. Dual-branch SalStructIQA contains two CNN branches and one is guided by large-size salient structures while the other is guided by tiny-size salient structures. Single-branch SalStructIQA contains one CNN branch, which is guided by the concatenation of salient structures in both large-size and tiny-size. Experimental results on Eye-Quality dataset show that our proposed Dual-branch SalStructIQA outperforms the state-of-the-art methods for retinal image quality assessment and Single-branch SalStructIQA is much light-weight comparing with state-of-the-art deep retinal image quality assessment methods and still achieves competitive performances.

研究动机与目标

• 解决传统视网膜图像质量评估（IQA）方法依赖手工设计特征或判别性不足表示的局限性。
• 通过聚焦于视盘、渗出物和血管等具有诊断意义的显著结构，模拟眼科医生的临床评估方法。
• 开发一种基于深度学习的IQA框架，通过在卷积神经网络训练中引入结构感知先验，提升性能。
• 通过引入轻量化单分支变体，在不牺牲准确率的前提下平衡模型性能与效率。

提出的方法

• 该方法引入两类显著结构先验：大尺寸结构（视盘、渗出物）和微小尺寸结构（血管），通过分割掩码提取。
• 双分支 SalStructIQA 采用两个并行的卷积神经网络分支，每个分支分别由一种显著结构先验引导，学习特定化特征。
• 单分支 SalStructIQA 将两类显著结构掩码与输入的RGB图像拼接，以引导单一卷积神经网络分支。
• 模型在 Eye-Quality 数据集上进行端到端训练，采用三分类交叉熵损失（良好、可用、拒绝）。
• 通过梯度加权类激活图（Grad-CAM）可视化，验证模型关注于临床相关区域。
• 框架采用预训练的 DenseNet121 和 ResNet50 作为骨干网络，并通过消融实验比较不同网络架构下的性能表现。

实验结果

研究问题

• RQ1 将显著解剖结构作为先验是否能提升基于深度学习的视网膜图像质量评估性能？
• RQ2 将大尺度与微小尺度显著结构的特征学习分离处理，是否优于联合学习？
• RQ3 结合显著结构先验的轻量化单分支架构能否在降低模型复杂度的同时实现具有竞争力的性能？
• RQ4 所提模型中的注意力机制是否与人类眼科医生在质量评估过程中的视觉关注区域一致？

主要发现

• 双分支 SalStructIQA 在 Eye-Quality 数据集上超越现有最先进方法，表现出更优的分类准确率。
• 单分支变体在显著降低模型复杂度的同时，仍保持具有竞争力的性能，优于现有基于深度学习的IQA模型。
• 梯度加权类激活图证实，模型聚焦于视盘、血管以及图像失真区域等具有诊断意义的区域。
• 该方法能正确分类 DenseNet121-RGB 模型误判的图像，尤其在过曝或部分遮挡等挑战性病例中表现更优。
• 将显著结构先验与RGB输入结合，性能优于仅使用RGB的模型，表明结构归纳偏置具有实际价值。
• 双分支架构性能优于单分支版本，表明对大尺度与微小尺度结构分别处理可增强特征判别能力。