[論文レビュー] VoxResNet: Deep Voxelwise Residual Networks for Volumetric Brain Segmentation

Hao Chen, Qi Dou+2 more|arXiv (Cornell University)|Aug 21, 2016

Advanced Neural Network Applications参考文献 34被引用数 115

ひとこと要約

VoxResNet は残差学習を3Dに拡張して体積的脳セグメンテーションを実現し、多モーダルデータの融合と auto-context 情報の融合により性能を向上させる。

ABSTRACT

Recently deep residual learning with residual units for training very deep neural networks advanced the state-of-the-art performance on 2D image recognition tasks, e.g., object detection and segmentation. However, how to fully leverage contextual representations for recognition tasks from volumetric data has not been well studied, especially in the field of medical image computing, where a majority of image modalities are in volumetric format. In this paper we explore the deep residual learning on the task of volumetric brain segmentation. There are at least two main contributions in our work. First, we propose a deep voxelwise residual network, referred as VoxResNet, which borrows the spirit of deep residual learning in 2D image recognition tasks, and is extended into a 3D variant for handling volumetric data. Second, an auto-context version of VoxResNet is proposed by seamlessly integrating the low-level image appearance features, implicit shape information and high-level context together for further improving the volumetric segmentation performance. Extensive experiments on the challenging benchmark of brain segmentation from magnetic resonance (MR) images corroborated the efficacy of our proposed method in dealing with volumetric data. We believe this work unravels the potential of 3D deep learning to advance the recognition performance on volumetric image segmentation.

研究の動機と目的

• 3D で深い残差学習を用いた堅牢な体積的脳セグメンテーションを動機づける。
• 体積セグメンテーションのための深いボクセル単位残差ネットワークである VoxResNet を提案する。
• 低レベル・中レベル・高レベルの文脈情報を統合するための auto-context VoxResNet を導入する。
• MR脳セグメンテーションにおける多モダリティデータ融合の利点を実証する。

提案手法

• 2D 深層残差ネットワークを 25 個の volumetric conv 層と 4 個の deconvolution 層を備える 3D VoxResNet に拡張する。
• 大きな受容野を得るために stride-2 の conv を用いた小さな 3x3x3 カーネルを使用する。
• 安定した深層学習のためにスキップ接続を備えたポストアクティベーション残差ユニットを組み込む。
• 連結と結合学習によって多モダリティ入力（例：T1、T1-IR、T2-FLAIR）を統合する。
• 多スケール文脈を統合するために4つの補助分類器（C1–C4）を用いた深層監視を適用する。
• 初期の VoxResNet 出力が第二段 Auto-context VoxResNet の洗練化を導く自動文脈スキームを採用する。
• 正則化と voxel-wise クロスエントロピーを組み合わせた損失で訓練し、重み付き強調を伴う補助損失を含む。

実験結果

リサーチクエスチョン

• RQ1 3D deep residual ネットワーク（VoxResNet）は MR 画像から体積的脳セグメンテーションを効果的に学習できるか？
• RQ2 3D コンテキストにおいて多モダリティデータ融合はセグメンテーションの精度を向上させるか？
• RQ3 auto-context 情報を統合することはセグメンテーション性能をさらに向上させるか？
• RQ4 3D 体積セグメンテーション精度に対する深層監視の経験的影響は何か？

主な発見

モダリティ	GM DC (%)	GM HD (mm)	GM AVD (%)	WM DC (%)	WM HD (mm)	WM AVD (%)	CSF DC (%)	CSF HD (mm)	CSF AVD (%)
T1	86.96	1.36	4.67	89.70	1.92	6.85	79.58	2.71	17.55
T1-IR	80.61	1.92	8.45	85.89	2.87	7.42	76.44	3.00	12.87
T2-FLAIR	81.13	1.92	9.15	83.21	3.00	4.99	75.34	3.03	3.77
All	86.86	1.36	7.13	90.22	1.36	5.12	81.97	2.14	9.87
All+auto-context	87.83	1.36	6.22	90.63	1.36	2.22	82.76	2.14	5.50

• 多モダリティ入力を備えた VoxResNet は、脳組織セグメンテーションで単一モダリティのベースラインを上回る。
• Auto-context の統合により Dice 係数（DC）がさらに改善され、セグメンテーション誤差が減少する。
• All modality 設定は、組織（GM, WM, CSF）全体で高い DC を達成し、Hausdorff 距離と絶対体積差も競争力のある値を示す。
• Auto-context VoxResNet が VoxResNet のみより追加の向上をもたらす。
• MRBrainS ベンチマークでは、提案手法は上位エントリの中にランクされ、体積的脳セグメンテーションで高い性能を示している。