[論文レビュー] Improving Deep Pancreas Segmentation in CT and MRI Images via Recurrent Neural Contextual Learning and Direct Loss Function

Jinzheng Cai, Le Lü+3 more|arXiv (Cornell University)|Jul 16, 2017

Advanced Neural Network Applications参考文献 15被引用数 130

ひとこと要約

本論文は、CTおよびMRIにおける膵臓のセグメンテーション品質を直接最適化するための畳み込みLSTMベースの文脈正則化とJaccard損失を導入し、最先端の結果を達成した。

ABSTRACT

Deep neural networks have demonstrated very promising performance on accurate segmentation of challenging organs (e.g., pancreas) in abdominal CT and MRI scans. The current deep learning approaches conduct pancreas segmentation by processing sequences of 2D image slices independently through deep, dense per-pixel masking for each image, without explicitly enforcing spatial consistency constraint on segmentation of successive slices. We propose a new convolutional/recurrent neural network architecture to address the contextual learning and segmentation consistency problem. A deep convolutional sub-network is first designed and pre-trained from scratch. The output layer of this network module is then connected to recurrent layers and can be fine-tuned for contextual learning, in an end-to-end manner. Our recurrent sub-network is a type of Long short-term memory (LSTM) network that performs segmentation on an image by integrating its neighboring slice segmentation predictions, in the form of a dependent sequence processing. Additionally, a novel segmentation-direct loss function (named Jaccard Loss) is proposed and deep networks are trained to optimize Jaccard Index (JI) directly. Extensive experiments are conducted to validate our proposed deep models, on quantitative pancreas segmentation using both CT and MRI scans. Our method outperforms the state-of-the-art work on CT [11] and MRI pancreas segmentation [1], respectively.

研究の動機と目的

• 小さな臓器サイズと不規則な境界のため、CTおよびMRIにおける膵臓の正確なセグメンテーションを動機づける。
• 過学習を避け、効率を向上させるため、ゼロから学習させるコンパクトなCNNを開発する。
• 近接スライス間の文脈正則化を畳み込みLSTMを用いて組み込み、スライス間の一貫性を強制する。
• Jaccard Lossとしてセグメンテーション直接損失を導入し、Jaccard指標を直接最適化する。
• 性能向上を示すため、4分割交差検証で82のCTデータセットと79のMRIデータセットを評価する。

提案手法

• CBR（Convolution-BatchNorm-ReLU）ユニットから構成されるScaleブロックを備えたコンパクトなCNNと補助損失を設計する。
• CNN出力にCLSTMモジュールを付加して隣接するスライス間で文脈学習を行う。
• ネットワークをエンドツーエンドでSGDを用いて訓練し、CNNとCLSTMを共同で微調整する。
• 訓練中にJaccard Lossを提案し、Jaccard Indexを直接最適化してしきい値なしのセグメンテーションを実現する。
• CTおよびMRIデータセットにおけるJACLossと文脈モデルを比較し、ベースラインに対する利得を評価する。

実験結果

リサーチクエスチョン

• RQ1 スライス間で再帰的文脈学習を行うCNNは、スライスごとに2Dモデルと比べて膵臓のセグメンテーションの一貫性を改善できるか。
• RQ2 Jaccard Lossを直接最適化することは、クロスエントロピー損失よりもしきい値なしでより頑健なセグメンテーションにつながるか。
• RQ3 CTおよびMRIの膵臓セグメンテーションに対する異なるCLSM構成（64チャンネル対128チャンネル）の影響はどうか。
• RQ4 NIH-CT-82およびUFL-MRI-79データセットで、提案手法は最先端手法と比べてどのような性能を示すか。
• RQ5 このアプローチは他の3D臓器セグメンテーション課題に一般化可能か。

主な発見

手法	NIH-CT82 DSC (%)	NIH-CT82 JI (%)	MRI-79 DSC (%)	MRI-79 JI (%)
UNet	79.7 ± 7.6 [43.4,89.3]	66.8 ± 9.60 [27.7,80.7]	79.9 ± 7.30 [54.8,90.5]	67.1 ± 9.50 [37.7,82.6]
HNN	79.6 ± 7.7 [41.9,88.0]	66.7 ± 9.40 [26.5,78.6]	75.9 ± 10.1 [33.0,86.8]	62.1 ± 11.3 [19.8,76.6]
JAC-64	80.3 ± 9.0 [35.8,90.2]	67.9 ± 10.9 [21.8,82.1]	76.3 ± 12.9 [6.30,88.8]	63.1 ± 14.0 [3.30,79.9]
JAC-128	81.5 ± 7.2 [56.3,90.1]	69.3 ± 9.50 [39.2,82.0]	80.5 ± 6.70 [59.1,89.4]	67.9 ± 8.90 [41.9,80.9]
RNN-64	82.3 ± 6.7 [49.8,90.2]	70.4 ± 8.60 [33.1,82.2]	78.1 ± 9.40 [39.5,90.0]	64.9 ± 11.4 [24.6,81.8]
RNN-128	82.4 ± 6.7 [60.0,90.1]	70.6 ± 9.00 [42.9,81.9]	80.4 ± 6.60 [58.9,90.0]	67.7 ± 8.70 [41.8,81.8]
Roth et al., [12]	81.3 ± 6.3 [50.6,88.9]	68.8 ± 8.12 [33.9,80.1]	-	-
Zhou et al., [18]	82.3 ± 5.6 [62.4,90.8]	-	-	-
Cai et al., [1]	-	-	76.1 ± 8.7 [47.4,87.1]	-

• CLSTMを用いた文脈正則化は、非文脈ベースのベースラインより平均DSCを約2.0ポイント向上（CT-82）、CT-128バリアントでは0.9ポイント向上。
• MRI-79では、RNN-64がJAC-64よりDSCを1.8ポイント向上; RNN-128が全体で最高の結果を達成。
• Jaccard Lossは閾値をまたいだ平均DSCが最も高く、前景/背景のバランスをクロスエントロピーの派生より良く取れる。
• JAC-128がMRI-79で最高の結果を、NIH-CT-82ではRNN-128が報告された構成の中で最良の結果を達成。
• U-NetおよびHNNのベースラインと比較して、提案するJACLossと文脈学習アプローチは両データセットでDiceおよびJaccardスコアが競合的または上回る。