[論文レビュー] H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes

Xiaomeng Li, Hao Chen+4 more|arXiv (Cornell University)|Sep 21, 2017

Advanced Neural Network Applications被引用数 106

ひとこと要約

ハイブリッド2D-3D DenseUNet（H-DenseUNet）を提案。深い2D DenseUNetをスライス内特徴、3D DenseUNetをスライス間文脈と組み合わせ、エンドツーエンドで統合してCTボリュームにおける肝臓と腫瘍のセグメンテーションを改善。

ABSTRACT

Liver cancer is one of the leading causes of cancer death. To assist doctors in hepatocellular carcinoma diagnosis and treatment planning, an accurate and automatic liver and tumor segmentation method is highly demanded in the clinical practice. Recently, fully convolutional neural networks (FCNs), including 2D and 3D FCNs, serve as the back-bone in many volumetric image segmentation. However, 2D convolutions can not fully leverage the spatial information along the third dimension while 3D convolutions suffer from high computational cost and GPU memory consumption. To address these issues, we propose a novel hybrid densely connected UNet (H-DenseUNet), which consists of a 2D DenseUNet for efficiently extracting intra-slice features and a 3D counterpart for hierarchically aggregating volumetric contexts under the spirit of the auto-context algorithm for liver and tumor segmentation. We formulate the learning process of H-DenseUNet in an end-to-end manner, where the intra-slice representations and inter-slice features can be jointly optimized through a hybrid feature fusion (HFF) layer. We extensively evaluated our method on the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge and 3DIRCADb Dataset. Our method outperformed other state-of-the-arts on the segmentation results of tumors and achieved very competitive performance for liver segmentation even with a single model.

研究の動機と目的

• CTボリュームにおける肝臓と肝臓腫瘍の正確なセグメンテーションの課題を、スライス内およびスライス間の文脈情報を活用して解決する。
• 純粋な2Dまたは3D FCNの限界を克服するため、2Dのスライス内特徴と3Dの体積文脈を効率的に融合するハイブリッドアーキテクチャを提案する。
• スライス内表現とスライス間特徴を共同学習するエンドツーエンドの最適化を実現し、セグメンテーション精度を向上させる。
• LiTSで最先端の性能を示し、3DIRCADbデータセットで競争力のある結果を示す。

提案手法

• 深い2D DenseUNet（DenseUNet-167）を設計し、密な接続とUNetスタイルのスキップ接続で豊かなスライス内特徴を抽出する。
• 計算資源とメモリを抑えつつ体積文脈を捉える軽量な3D DenseUNet（DenseUNet-65）を導入する。
• HFF層を開発し、スライド内外の特徴をエンドツーエンドで共同最適化して統合する。
• オートコンテキストに着想を得た訓練方式を用い、2D DenseUNetの出力が3D DenseUNetの訓練を導くことで効率的な vivo-context 学習を実現する。
• 重み付きクロスエントロピーロスで訓練を行い、ROI内で粗い肝セグメンテーション段階を経て細かな病変セグメンテーションを行う。
• 転移学習を用い、2Dエンコーダの重みを事前学習済みDenseNetの重みで初期化して収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 深い2Dスライス内表現を3Dスライス間文脈とハイブリッドフュージョンで統合することは、肝臓と腫瘍のセグメンテーションを純粋な2Dまたは3D FCNより改善するか？
• RQ2 ハイブリッド特徴のエンドツーエンドの共同最適化は、LiTSおよび3DIRCADbデータセットで別個または逐次訓練より良い性能をもたらすか？
• RQ3 事前学習重みとUNetスタイルのスキップ接続は肝臓と病変のセグメンテーション精度にどのような影響を与えるか？
• RQ4 提案手法はLiTSおよび3DIRCADbで最先端手法と比較して精度と効率の点でどのような性能か？

主な発見

• H-DenseUNetはLiTSリーダーボードで病変（腫瘍）セグメンテーションの優れた性能を達成し、肝セグメンテーション結果も競争力があり、アブレーション研究でいくつかのベースラインを上回る。
• アブレーションでは、事前学習とUNet接続を持つ2D DenseUNetが3D DenseUNetと単純な2D DenseNetを上回り、深い2Dスライス内特徴とスキップ接続の価値を示した。
• ハイブリッド特徴フュージョン（HFF）層は、2Dまたは3Dネットワークのみを用いるよりも収束と損失低減に寄与し、スライス内とスライス間情報の統合の利点を裏付けた。
• エンドツーエンド訓練はハイブリッドアーキテクチャで3D DenseUNet単独の訓練（約60時間）に対して総訓練時間を約30時間に短縮し、Diceスコアを向上させた。
• LiTSでは、提案された訓練・フュージョン戦略を用いたH-DenseUNetが病変セグメンテーションで1位にランク付けされ、肝セグメンテーション性能も非常に競争力がある。
• 訓練は2Dエンコーダの事前学習DenseNet重みからの転移学習を使用して収束を早め、最終精度を向上させる。