[論文レビュー] H-DenseUNet: Hybrid Densely Connected UNet for Liver and Liver Tumor Segmentation from CT Volumes

Xiaomeng Li, Hao Chen+4 more|arXiv (Cornell University)|Sep 21, 2017

Advanced Neural Network Applications参考文献 43被引用数 81

ひとこと要約

H-DenseUNetは、2D内スライス特徴抽出と3D間スライスコンテキスト集約をハイブリッド特徴融合層を介して組み合わせることで、2Dと3Dを融合した密接に接続されたU-Netアーキテクチャを提案する。このアーキテクチャは、LiTSおよび3DIRCADbデータセットにおいて、1つのモデルで肝臓および肝腫瘍のセグメンテーションで最先端の性能を達成した。

ABSTRACT

Liver cancer is one of the leading causes of cancer death. To assist doctors in hepatocellular carcinoma diagnosis and treatment planning, an accurate and automatic liver and tumor segmentation method is highly demanded in the clinical practice. Recently, fully convolutional neural networks (FCNs), including 2D and 3D FCNs, serve as the back-bone in many volumetric image segmentation. However, 2D convolutions can not fully leverage the spatial information along the third dimension while 3D convolutions suffer from high computational cost and GPU memory consumption. To address these issues, we propose a novel hybrid densely connected UNet (H-DenseUNet), which consists of a 2D DenseUNet for efficiently extracting intra-slice features and a 3D counterpart for hierarchically aggregating volumetric contexts under the spirit of the auto-context algorithm for liver and tumor segmentation. We formulate the learning process of H-DenseUNet in an end-to-end manner, where the intra-slice representations and inter-slice features can be jointly optimized through a hybrid feature fusion (HFF) layer. We extensively evaluated our method on the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge and 3DIRCADb Dataset. Our method outperformed other state-of-the-arts on the segmentation results of tumors and achieved very competitive performance for liver segmentation even with a single model.

研究の動機と目的

• ボリュメトリックな肝臓セグメンテーションにおける2Dおよび3Dの完全畳み込みネットワークの限界を克服するため、両者の長所を統合すること。
• スライス間の空間的コンテキストを保持しつつ、計算コストおよびGPUメモリ使用量を低減すること。
• 3Dコンponentを用いて階層的なボリュメトリックコンテキストを活用することで、腫瘍セグメンテーションの精度を向上させること。
• 内的スライスおよび間接的スライス表現を統合的に最適化する統合モデルをエンドツーエンドで訓練可能にする。
• アンサンブル手法を用いずに、1つのモデルで競争力のある肝臓セグメンテーション性能と最先端の腫瘍セグメンテーション性能を達成すること。

提案手法

• ネットワークは、個々のCTスライス内での効率的な内的スライス特徴学習のため、2D DenseUNetブランチを採用する。
• 複数スライスにわたるボリュメトリックコンテキストを段階的に集約するために、3D DenseUNetブランチを用いる。
• ハイブリッド特徴融合（HFF）層は、2Dおよび3Dブランチからの特徴を統合し、共同最適化を可能にする。
• HFF層は、スキップ接続における複数スケールで2Dおよび3D特徴を融合することで、エンドツーエンド学習を可能にする。
• より深い層からのコンテキスト特徴を用いて予測を精緻化する、自動コンテキストパラダイムに従う。
• 肝臓および腫瘍セグメンテーションの両方を最適化するため、統合損失関数を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド2D-3D密接接続U-Netアーキテクチャは、純粋な2Dまたは3Dネットワークよりも肝臓および腫瘍セグメンテーションで優れた性能を発揮できるか？
• RQ2 ハイブリッド特徴融合層を介して内的スライスおよび間接的スライス特徴を統合することで、セグメンテーション精度が向上するか？
• RQ3 提案手法は、計算効率を維持しつつ、最先端の腫瘍セグメンテーション性能を達成できるか？
• RQ4 ハイブリッドアーキテクチャのエンドツーエンド学習は、段階的またはカスケード型アプローチと比較して、ボリュメトリックセグメンテーションにおいてどのように異なるか？
• RQ5 3Dコンponentは、メモリや計算コストを著しく増加させることなく、コンテキストモデリングをどの程度向上させるか？

主な発見

• H-DenseUNetは、MICCAI 2017 LiTSチャレンジにおける肝腫瘍セグメンテーションで最先端の性能を達成した。
• Diceスコアおよび感度を含む、他の最先端手法よりも優れた腫瘍セグメンテーション指標を示した。
• アンサンブル手法を用いずに、競争力ある肝臓セグメンテーション性能を達成した。
• ハイブリッド特徴融合層は、2Dおよび3D特徴を効果的に統合し、共同最適化と改善された特徴表現を可能にした。
• 3Dコンponentはボリュメトリックコンテキストモデリングを顕著に向上させ、腫瘍の局在化および境界の正確性を向上させた。
• 純粋な3D FCNと比較して、計算コストおよびGPUメモリ使用量を低く抑え、臨床応用に実用的であった。