[论文解读] Deep Convolutional Neural Networks with Spatial Regularization, Volume and Star-shape Priori for Image Segmentation

Jun Liu, Xiangyue Wang+1 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Neural Network Applications参考文献 58被引用 7

一句话总结

本文提出了一种新颖的软阈值动力学（Soft Threshold Dynamics, STD）框架，将空间正则化、体积约束和星形形状先验整合到深度卷积神经网络（DCNNs）中，用于图像分割。通过将softmax函数解释为变分问题中的对偶变量，该方法使DCNN输出能够继承经典变分模型中的先进空间先验，显著提升了在ISIC2018等基准数据集上的分割准确率和鲁棒性，尤其在应用于DeepLabV3+时表现突出。

ABSTRACT

We use Deep Convolutional Neural Networks (DCNNs) for image segmentation problems. DCNNs can well extract the features from natural images. However, the classification functions in the existing network architecture of CNNs are simple and lack capabilities to handle important spatial information in a way that have been done for many well-known traditional variational models. Prior such as spatial regularity, volume prior and object shapes cannot be well handled by existing DCNNs. We propose a novel Soft Threshold Dynamics (STD) framework which can easily integrate many spatial priors of the classical variational models into the DCNNs for image segmentation. The novelty of our method is to interpret the softmax activation function as a dual variable in a variational problem, and thus many spatial priors can be imposed in the dual space. From this viewpoint, we can build a STD based framework which can enable the outputs of DCNNs to have many special priors such as spatial regularity, volume constraints and star-shape priori. The proposed method is a general mathematical framework and it can be applied to any semantic segmentation DCNNs. To show the efficiency and accuracy of our method, we applied it to the popular DeepLabV3+ image segmentation network, and the experiments results show that our method can work efficiently on data-driven image segmentation DCNNs.

研究动机与目标

• 解决现有DCNN在处理空间先验（如正则化、体积约束和形状信息）方面的局限性。
• 通过将经典先验嵌入深度网络，弥合数据驱动的深度学习与基于物理的变分模型之间的差距。
• 开发一种可泛化的框架，在不修改底层DCNN架构的前提下提升语义分割性能。
• 使DCNN在分割过程中能够保持空间一致性、体积守恒和形状一致性。

提出的方法

• 所提出的STD框架将softmax激活函数重新解释为变分优化问题中的对偶变量，从而实现在对偶空间中引入空间先验。
• 将分割问题表述为一个泛函最小化问题，该泛函结合了数据保真项、正则化项和先验项，通过阈值动力学实现对先验的强制约束。
• 引入熵正则化以稳定优化过程，并通过快速迭代算法实现高效计算。
• 通过拉格朗日乘子强制实施体积约束，确保每一轮迭代中各分割区域的总面积保持不变。
• 通过在优化中引入几何约束，将分割结果限制为相对于中心点的星形形状，从而嵌入星形形状先验。
• 该框架与任何语义分割DCNN（如DeepLabV3+）兼容，可应用于前向传播和反向传播过程。

实验结果

研究问题

• RQ1 空间先验（如正则化、体积约束和形状先验）能否被有效整合到基于深度学习的分割网络中？
• RQ2 DCNN中的softmax函数如何被重新解释，以实现在对偶空间中引入变分先验？
• RQ3 与标准DCNN相比，所提出的STD框架是否在真实世界数据集上提升了分割准确率和鲁棒性？
• RQ4 该框架是否可在不修改DCNN架构的前提下泛化至不同网络结构？

主要发现

• 所提出的STD框架成功将空间正则化、体积保持和星形形状先验整合到DCNN中，在ISIC2018验证集上显著提升了分割质量。
• 当应用于DeepLabV3+时，该方法表现出更强的边界贴合能力并减少了噪声，尤其在复杂皮肤病变分割任务中效果显著。
• 先验的整合使分割结果更加一致且符合解剖学合理性，尤其在低对比度或不规则形状的情况下表现更优。
• 由于采用阈值动力学，该方法保持了较高的计算效率，确保了无条件稳定性和快速收敛。
• 定量结果表明，与基线DCNN相比，Dice分数有所提升，Hausdorff距离显著降低，尤其在小物体尺寸等挑战性条件下表现更优。