[論文レビュー] Pancreas Segmentation in CT and MRI Images via Domain Specific Network Designing and Recurrent Neural Contextual Learning

Jinzheng Cai, Le Lü+2 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Neural Network Applications参考文献 25被引用数 30

ひとこと要約

本論文は、CTおよびMRIスキャンにおける膵臓セグメンテーションのための新しいCNN-RNNフレームワークを提案する。ドメイン固有の2次元CNNと双方向畳み込みLSTM（BiRNN）を組み合わせ、スライス間の形状連続性を強制する。エンドツーエンドで直接Jaccard損失を用いて訓練することで、CTでは83.7% ± 5.1、MRIでは80.7% ± 7.4のSOTA DSCを達成し、空間的滑らかさと小規模データセットにおけるロバスト性の向上により、先行手法を上回る性能を発揮した。

ABSTRACT

Automatic pancreas segmentation in radiology images, eg., computed tomography (CT) and magnetic resonance imaging (MRI), is frequently required by computer-aided screening, diagnosis, and quantitative assessment. Yet pancreas is a challenging abdominal organ to segment due to the high inter-patient anatomical variability in both shape and volume metrics. Recently, convolutional neural networks (CNNs) have demonstrated promising performance on accurate segmentation of pancreas. However, the CNN-based method often suffers from segmentation discontinuity for reasons such as noisy image quality and blurry pancreatic boundary. From this point, we propose to introduce recurrent neural networks (RNNs) to address the problem of spatial non-smoothness of inter-slice pancreas segmentation across adjacent image slices. To inference initial segmentation, we first train a 2D CNN sub-network, where we modify its network architecture with deep-supervision and multi-scale feature map aggregation so that it can be trained from scratch with small-sized training data and presents superior performance than transferred models. Thereafter, the successive CNN outputs are processed by another RNN sub-network, which refines the consistency of segmented shapes. More specifically, the RNN sub-network consists convolutional long short-term memory (CLSTM) units in both top-down and bottom-up directions, which regularizes the segmentation of an image by integrating predictions of its neighboring slices. We train the stacked CNN-RNN model end-to-end and perform quantitative evaluations on both CT and MRI images.

研究の動機と目的

• CTおよびMRIスキャンにおける高い患者間解剖的変異性と曇った膵臓境界の課題に対処すること。
• 画像品質が悪い、または境界が曖昧な領域においても、隣接スライス間のセグメンテーション精度と空間的滑らかさを向上させること。
• 限られたトレーニングデータでも良好に動作する、コンactでエンドツーエンドでトレーニング可能なディーブラーニングモデルを構築すること。
• 再帰的ネットワークを用いて隣接スライス間の文脈的依存関係をモデル化することで、形状連続性を向上させること。
• CTおよびMRIデータセットの両方で、既存のSOTA手法を上回る膵臓セグメンテーション性能を達成すること。

提案手法

• 小規模データセットからスクラッチで訓練する場合の性能向上を図るため、深層監視とマルチスケール特徴抽出を組み合わせた2次元CNNサブネットワークを設計する。
• 上向きおよび下向きのCLSTMユニットを用いた双方向畳み込みLSTM（BiRNN）モジュールを統合し、隣接スライス間のセグメンテーションの一貫性を正則化する。
• エンドツーエンドの訓練中に直接Jaccard（JAC）損失関数を用い、しきい値フリーで高精度な確率マップを生成する。
• CNNとBiRNNモジュールを統合して、特徴学習と形状正則化の共同最適化が可能な統一されたCNN-RNNアーキテクチャを構築する。
• CTおよびMRIデータセット上で、隣接スライスからの文脈的情報を活用してセグメンテーション出力を精緻化するため、フルモデルをエンドツーエンドで訓練する。
• 3次元CTおよび3次元MRIスキャンの両方に対してモデルを適用し、スライス単位で推論を行い、後処理で3次元ボリューム結果に統合する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールおよび深層監視を備えたドメイン固有の2次元CNNが、限られたデータからスクラッチで訓練された場合に、膵臓セグメンテーション精度を向上させることができるか？
• RQ2 CLSTMを用いた双方向再帰的文脈学習を組み込むことで、スライス間の形状連続性が著しく向上し、セグメンテーションの不連続性が低減するか？
• RQ3 直接Jaccard損失関数は、標準的な交差エントロピー損失よりも、より正確でしきい値フリーのセグメンテーション出力を得られるか？
• RQ4 提案されたCNN-RNNフレームワークは、CTおよびMRIデータセットの両方において、Dice類似係数（DSC）およびJaccardインデックス（JI）の観点で、SOTA手法を上回る性能を示すか？
• RQ5 画像品質やスライス厚さが異なる異なる画像モダリティ間で、モデルの一般化能はどの程度高いか？

主な発見

• 提案されたPNet-MSA+BiRNNモデルは、CTデータセットで83.7% ± 5.1のDSCを達成し、以前のSOTAの81.3% ± 6.3を上回った。
• MRIデータセットでは、80.7% ± 7.4のDSCを達成し、グラフベース融合手法による以前の最高結果76.1% ± 8.7を上回った。
• BiRNNモジュールは、滑らかな3次元セグメンテーション表面と、細かな境界を保持する明確な確率マップの証明により、スライス間の形状連続性を顕著に向上させた。
• 提案されたアーキテクチャでスクラッチから訓練したモデルは、他のドメインから微調整されたU-Netのような大規模モデルよりも優れた性能を示し、設計の有効性を裏付けた。
• 直接Jaccard損失の使用により、標準的な交差エントロピー訓練に比べ、よりロバストで正確なしきい値フリーのセグメンテーション出力が得られた。
• 標準偏差が低く抑えられ、多様な患者の解剖的特徴にわたる数値的安定性が向上した。