[论文解读] Convex Shape Prior for Deep Neural Convolution Network based Eye Fundus Images Segmentation

Jun Liu, Xue‐Cheng Tai+1 more|arXiv (Cornell University)|May 15, 2020

Retinal Imaging and Analysis参考文献 36被引用 7

一句话总结

本文提出了一种可微分的、即插即用的深度学习层 CS-STD，用于在基于卷积神经网络（DCNN）的视网膜眼底图像分割中强制执行凸形状先验。通过利用Sigmoid激活函数的对偶表示，并在对偶空间中应用二次凸性约束，该方法确保分割输出为凸、平滑且二值化，显著提升了在视盘和视杯分割任务上的性能，且无需后处理或领域自适应。

ABSTRACT

Convex Shapes (CS) are common priors for optic disc and cup segmentation in eye fundus images. It is important to design proper techniques to represent convex shapes. So far, it is still a problem to guarantee that the output objects from a Deep Neural Convolution Networks (DCNN) are convex shapes. In this work, we propose a technique which can be easily integrated into the commonly used DCNNs for image segmentation and guarantee that outputs are convex shapes. This method is flexible and it can handle multiple objects and allow some of the objects to be convex. Our method is based on the dual representation of the sigmoid activation function in DCNNs. In the dual space, the convex shape prior can be guaranteed by a simple quadratic constraint on a binary representation of the shapes. Moreover, our method can also integrate spatial regularization and some other shape prior using a soft thresholding dynamics (STD) method. The regularization can make the boundary curves of the segmentation objects to be simultaneously smooth and convex. We design a very stable active set projection algorithm to numerically solve our model. This algorithm can form a new plug-and-play DCNN layer called CS-STD whose outputs must be a nearly binary segmentation of convex objects. In the CS-STD block, the convexity information can be propagated to guide the DCNN in both forward and backward propagation during training and prediction process. As an application example, we apply the convexity prior layer to the retinal fundus images segmentation by taking the popular DeepLabV3+ as a backbone network. Experimental results on several public datasets show that our method is efficient and outperforms the classical DCNN segmentation methods.

研究动机与目标

• 为解决在基于深度学习的医学图像分割中强制执行凸形状先验的挑战，特别是针对视网膜眼底图像中的视盘和视杯。
• 开发一种方法，将凸性约束直接整合到 DCNN 中，同时不损害训练或推理效率。
• 确保分割输出既为凸又平滑，避免标准 DCNN 中常见的锯齿状或非凸边界。
• 实现端到端训练，使凸性引导在前向传播和反向传播中均可传递。
• 在不依赖后处理或领域自适应技术的前提下，提升对噪声和领域偏移的鲁棒性。

提出的方法

• 该方法引入 Sigmoid 激活函数的对偶表示，将分割建模为带有凸性约束的变分问题。
• 在对偶空间中应用二次凸性约束，以强制二值分割输出为凸形状。
• 扩展了软阈值动力学（STD）框架以整合空间正则化，确保边界平滑且凸。
• 开发了一种稳定的活动集投影算法，以高效数值求解约束优化问题。
• 所得的 CS-STD 模块作为即插即用层插入现有 DCNN（如 DeepLabV3+）中，以指导训练和推理。
• 该方法支持多个凸对象，并允许部分凸性，使其在复杂解剖结构中更具灵活性。

实验结果

研究问题

• RQ1 能否有效且高效地将凸形状先验集成到标准 DCNN 架构中用于医学图像分割？
• RQ2 如何在深度学习框架中以可微分且可训练的方式强制执行凸性？
• RQ3 强制凸性是否能提升分割的准确性、平滑性以及在噪声或领域偏移下的鲁棒性？
• RQ4 该方法能否同时应用于多个对象（如视盘和视杯）并保持凸性？
• RQ5 与最先进的 DCNN 及领域自适应技术相比，该方法在真实视网膜图像分割中的表现如何？

主要发现

• 所提出的 CS-STD 方法在 RIM-ONE-r3 测试集上对视盘的 Dice 分数达到 92.2%，对视杯的 Dice 分数达到 80.7%，优于基线模型 DeepLabV3+（分别为 85.4% 和 70.9%）。
• 在无噪声条件下，Dice 分数提升了 3.4%；在高噪声水平（σ = 25）下，提升达 5.7%，表明其具有强大的鲁棒性。
• 该方法在无需任何后处理或领域自适应的情况下实现了优异性能，而其他最先进的方法则依赖此类技术。
• 活动集投影算法确保了训练和推理过程中的数值稳定性和高效收敛。
• 凸性先验显著提升了边界平滑性，减少了标准 DCNN 输出中常见的锯齿状伪影。
• 该方法在不同数据集间具有良好的泛化能力，在训练与测试数据分布不一致时仍能保持高性能。