[论文解读] A Model-Driven Stack-Based Fully Convolutional Network for Pancreas Segmentation

Hao Li, Jun Li+2 more|arXiv (Cornell University)|Mar 3, 2019

Advanced Neural Network Applications参考文献 41被引用 7

一句话总结

该论文提出MDS-Net，一种基于模型的堆叠式全卷积网络，通过堆叠方案和结合数据逼近与先验知识正则化的损失函数，整合2D与局部3D上下文信息。通过利用基于堆叠的U-Net架构与滑动窗口融合策略，MDS-Net在NIH胰腺-CT数据集上实现了胰腺分割的最先进精度，其可靠性与精确性优于现有数据驱动方法。

ABSTRACT

The irregular geometry and high inter-slice variability in computerized tomography (CT) scans of the human pancreas make an accurate segmentation of this crucial organ a challenging task for existing data-driven deep learning methods. To address this problem, we present a novel model-driven stack-based fully convolutional network with a sliding window fusion algorithm for pancreas segmentation, termed MDS-Net. The MDS-Net's cost function includes a data approximation term and a prior knowledge regularization term combined with a stack scheme for capturing and fusing the two-dimensional (2D) and local three-dimensional (3D) context information. Specifically, 3D CT scans are divided into multiple stacks to capture the local spatial context feature. To highlight the importance of single slices, the inter-slice relationships in the stack data are also incorporated in the MDS-Net framework. For implementing this proposed model-driven method, we create a stack-based U-Net architecture and successfully derive its back-propagation procedure for end-to-end training. Furthermore, a sliding window fusion algorithm is utilized to improve the consistency of adjacent CT slices and intra-stack. Finally, extensive quantitative assessments on the NIH Pancreas-CT dataset demonstrated higher pancreatic segmentation accuracy and reliability of MDS-Net compared to other state-of-the-art methods.

研究动机与目标

• 为解决由于胰腺解剖结构不规则及跨切片变异度高，导致CT扫描中胰腺精准分割的挑战。
• 通过在基于模型的框架中结合数据逼近与正则化，将先验知识与空间上下文整合进深度学习。
• 通过滑动窗口融合策略，提升相邻切片之间及堆叠内部的分割一致性。
• 开发一种端到端可训练的基于堆叠的U-Net架构，并推导出适用于3D上下文建模的反向传播算法。

提出的方法

• MDS-Net框架采用堆叠方案，将3D CT扫描划分为多个带有局部3D上下文的2D切片，以实现对3D空间特征的捕捉。
• 设计了一种包含数据逼近项与先验知识正则化项的损失函数，以强制保证解剖学上的合理性。
• 提出一种基于堆叠的U-Net架构，用于处理多切片堆叠，并推导出适用于端到端训练的反向传播算法。
• 显式建模每个堆叠内切片之间的相互关系，以保持结构连续性并增强特征表示。
• 应用滑动窗口融合算法，以优化相邻切片之间及堆叠内部的预测结果，提升空间一致性。
• 将局部3D上下文与单切片特征相结合，以提升分割精度与鲁棒性。

实验结果

研究问题

• RQ1 一种将先验知识整合进来的基于模型的方法，是否能提升在不规则且变化多端的CT扫描中胰腺分割的性能？
• RQ2 基于堆叠的3D上下文建模策略，在2D切片中捕捉局部空间依赖关系的效率如何？
• RQ3 在堆叠内部融合切片间关系是否能增强分割的一致性与准确性？
• RQ4 滑动窗口融合算法在多大程度上减少了相邻CT切片之间的不一致性？
• RQ5 与标准2D或3D U-Net变体相比，采用自定义反向传播算法的基于堆叠的U-Net能否实现更优性能？

主要发现

• MDS-Net在NIH胰腺-CT数据集上的分割精度高于现有最先进方法，尤其在解剖结构复杂区域表现出更优性能。
• 先验知识正则化的整合显著提升了分割可靠性，尤其在低对比度与不规则形状区域表现更优。
• 滑动窗口融合算法有效减少了相邻切片间的不一致性，增强了分割掩码的空间一致性。
• 基于堆叠的架构成功捕捉了局部3D上下文，从而实现了更精确的胰腺边界勾勒。
• 所提出的端到端可训练的基于堆叠的U-Net结合推导出的反向传播算法，能够同时有效学习2D与3D特征。