[论文解读] Improving Deep Pancreas Segmentation in CT and MRI Images via Recurrent Neural Contextual Learning and Direct Loss Function

Jinzheng Cai, Le Lü+3 more|arXiv (Cornell University)|Jul 16, 2017

Advanced Neural Network Applications参考文献 15被引用 130

一句话总结

本论文提出基于卷积长短时记忆网络的上下文正则化以及Jaccard损失，直接优化CT和MRI中的胰腺分割质量，达到最先进的结果。

ABSTRACT

Deep neural networks have demonstrated very promising performance on accurate segmentation of challenging organs (e.g., pancreas) in abdominal CT and MRI scans. The current deep learning approaches conduct pancreas segmentation by processing sequences of 2D image slices independently through deep, dense per-pixel masking for each image, without explicitly enforcing spatial consistency constraint on segmentation of successive slices. We propose a new convolutional/recurrent neural network architecture to address the contextual learning and segmentation consistency problem. A deep convolutional sub-network is first designed and pre-trained from scratch. The output layer of this network module is then connected to recurrent layers and can be fine-tuned for contextual learning, in an end-to-end manner. Our recurrent sub-network is a type of Long short-term memory (LSTM) network that performs segmentation on an image by integrating its neighboring slice segmentation predictions, in the form of a dependent sequence processing. Additionally, a novel segmentation-direct loss function (named Jaccard Loss) is proposed and deep networks are trained to optimize Jaccard Index (JI) directly. Extensive experiments are conducted to validate our proposed deep models, on quantitative pancreas segmentation using both CT and MRI scans. Our method outperforms the state-of-the-art work on CT [11] and MRI pancreas segmentation [1], respectively.

研究动机与目标

• 在 CT 和 MRI 中推动胰腺分割的准确性，因为胰腺体积小且边界变化较大。
• 从零开始训练的紧凑型 CNN，旨在避免过拟合并提高效率。
• 通过卷积LSTM在相邻切片之间引入上下文正则化，以实现切片间的一致性。
• 引入直接优化分割的损失（Jaccard 损失）直接优化 Jaccard 指标。
• 在 82 个 CT 和 79 个 MRI 数据集上进行四折交叉验证，以证明性能提升。

提出的方法

• 设计一个紧凑型 CNN，包含由 CBR（卷积-批归一化-ReLU）单元构成的 Scale 块以及辅助损失。
• 在 CNN 输出上附加一个 CLSTM 模块，以对相邻切片进行上下文学习。
• 用 SGD 端到端训练网络，以联合微调 CNN 和 CLSTM。
• 提出 Jaccard Loss，在训练期间直接优化 Jaccard 指标，从而实现无阈值分割。
• 在 CT 和 MRI 数据集上比较 JACLoss 与上下文模型，以评估相对于基线的提升。

实验结果

研究问题

• RQ1 具有跨切片的循环上下文学习的 CNN 能否提高胰腺分割的一致性，相较于逐切片的 2D 模型？
• RQ2 直接优化 Jaccard Loss 是否比交叉熵损失产生无阈值、更鲁棒的分割？
• RQ3 不同 CLSM 配置（64 通道 vs 128 通道）对 CT 和 MRI 胰腺分割的影响是什么？
• RQ4 所提方法在 NIH-CT-82 和 UFL-MRI-79 数据集上的表现相对于最先进方法如何？
• RQ5 该方法是否可推广到其他三维器官分割任务？

主要发现

• 使用 CLSTM 的上下文正则化使平均 DSC 相比非上下文基线在 CT-82 上提高约 2.0 个百分点，在 CT-128 变体上提高约 0.9 个百分点。
• 在 MRI-79 上，RNN-64 比 JAC-64 提高 1.8 个百分点；RNN-128 整体取得最佳结果。
• Jaccard Loss 在跨阈值的平均 DSC 最高，并比交叉熵变体更好地平衡前景/背景。
• JAC-128 取得 MRI-79 上的最佳结果；在 NIH-CT-82 上，RNN-128 取得最佳结果（在所报道的配置中）。
• 与 U-Net 和 HNN 基线相比，所提出的 JACLoss 与上下文学习方法在两个数据集上提供具有竞争力或更高的 Dice 和 Jaccard 分数。