[论文解读] Deep Neural Networks for Surface Segmentation Meet Conditional Random Fields

Leixin Zhou, Zisha Zhong+4 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Neural Network Applications参考文献 30被引用 6

一句话总结

本文提出了一种端到端的深度学习框架，结合三维卷积神经网络（CNNs）与条件随机场（CRFs），用于在医学图像中直接进行三维表面分割。通过使用形状感知的补丁生成方法，并在CNN中集成CRF的一元和成对势能，该方法确保了拓扑一致性，并在前列腺和脾脏分割数据集上实现了最先进性能，且无需后处理。

ABSTRACT

Automated surface segmentation is important and challenging in many medical image analysis applications. Recent deep learning based methods have been developed for various object segmentation tasks. Most of them are a classification based approach (e.g., U-net), which predicts the probability of being target object or background for each voxel. One problem of those methods is lacking of topology guarantee for segmented objects, and usually post processing is needed to infer the boundary surface of the object. In this paper, a novel model based on 3-D convolutional neural networks (CNNs) and Conditional Random Fields (CRFs) is proposed to tackle the surface segmentation problem with end-to-end training. To the best of our knowledge, this is the first study to apply a 3-D neural network with a CRFs model for direct surface segmentation. Experiments carried out on NCI-ISBI 2013 MR prostate dataset and Medical Segmentation Decathlon Spleen dataset demonstrated promising segmentation results.

研究动机与目标

• 为解决基于分类的深度学习方法在医学图像分割中的局限性，这些方法需要后处理才能提取物体边界。
• 通过将表面位置建模为回归输出而非体素级分类，实现直接的三维表面分割。
• 将CRF势能集成到3D CNN中，联合优化局部置信度与空间平滑性，确保拓扑有效的表面。
• 克服训练3D网络进行表面分割所面临的挑战，包括补丁生成与参数效率。
• 通过依赖具有正确拓扑的预分割作为表面预测的骨架，确保拓扑保真度。

提出的方法

• 预分割步骤生成具有正确拓扑的粗略表面，表示为三角形网格。
• 将三角形网格转换为四边形网格，以支持规则的三维卷积操作。
• 基于调和映射提出一种新型形状感知补丁生成方法，生成围绕表面的结构化邻域图像补丁。
• 3D CNN对补丁中每个列的表面位置进行回归，直接建模CRF的一元势能。
• 通过自定义的兼容性矩阵将CRF成对势能整合进来，以在相邻表面点之间强制实现平滑性与一致性。
• 整个CNN+CRF模型通过在表面位置预测上使用多类交叉熵（MCE）损失函数进行端到端训练。

实验结果

研究问题

• RQ1 3D CNN-CRF框架是否能够实现无需后处理的直接、端到端表面分割，同时保持拓扑正确性？
• RQ2 基于调和映射的形状感知补丁生成在实现高效且精确的三维表面学习方面效果如何？
• RQ3 与标准分类方法相比，将CRF势能集成到3D CNN中在多大程度上提升了表面平滑性与分割准确性？
• RQ4 只要拓扑正确，该方法对预分割中的不准确性有多强的鲁棒性？
• RQ5 该框架在仅需极少架构修改的情况下，是否能泛化到复杂解剖结构（如气道或神经通路）？

主要发现

• 所提出的方法在NCI-ISBI 2013 MR前列腺数据集和Medical Segmentation Decathlon脾脏数据集上实现了最先进表面分割性能。
• 该方法生成了拓扑一致的表面，无需依赖如分水岭或形态学操作等后处理步骤。
• 只要拓扑正确，该框架对预分割中的不准确性具有鲁棒性，表现出对初始表面中微小几何误差的不敏感性。
• 基于调和映射的补丁生成方法通过确保结构化、非重叠且保持拓扑的补丁，实现了3D表面回归网络的高效训练。
• 将CRF势能整合到CNN框架中，显著提升了表面平滑性与边界准确性，尤其在几何复杂的区域表现更优。
• 即使不依赖体素级分类，该方法在表面准确性方面仍优于标准的U-Net和V-Net基线模型。