[論文レビュー] A two-stage 3D Unet framework for multi-class segmentation on full resolution image

Chengjia Wang, Tom MacGillivray+3 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Image Processing Techniques参考文献 16被引用数 60

ひとこと要約

この論文は、ROIをまず局在させ、続いて再サンプリングなしでセグメンテーションを洗練させることで、全解像度の3D医用画像に対してマルチクラスのセグメンテーションを実行する2段階の連結U-Netフレームワークを提示し、MM-WHSデータで最先端のU-Netより優れた性能を達成している。

ABSTRACT

Deep convolutional neural networks (CNNs) have been intensively used for multi-class segmentation of data from different modalities and achieved state-of-the-art performances. However, a common problem when dealing with large, high resolution 3D data is that the volumes input into the deep CNNs has to be either cropped or downsampled due to limited memory capacity of computing devices. These operations lead to loss of resolution and increment of class imbalance in the input data batches, which can downgrade the performances of segmentation algorithms. Inspired by the architecture of image super-resolution CNN (SRCNN) and self-normalization network (SNN), we developed a two-stage modified Unet framework that simultaneously learns to detect a ROI within the full volume and to classify voxels without losing the original resolution. Experiments on a variety of multi-modal volumes demonstrated that, when trained with a simply weighted dice coefficients and our customized learning procedure, this framework shows better segmentation performances than state-of-the-art Deep CNNs with advanced similarity metrics.

研究の動機と目的

• ダウンサンプリングや後処理を通じて細部を失うことなく、高解像度の3D全心セグメンテーションを動機づける。
• まずROIを局在化し、次に全解像度でボクセル単位のラベルを洗練させる2段階のDCNNを開発する。
• スキップ接続を有するSRCNNに触発された近接的な洗練を活用して、セグメンテーション精度を向上させる。
• MM-WHSチャレンジの多モーダル心臓CT/MRデータ上で有効性を示す。
• 最先端の3D U-Netsと比較し、限られたデータでも良好な性能を達成するためのトレーニング戦略を評価する。

提案手法

• Net1がダウンサンプリングされた体積上で粗いROI中心の予測を提供し、Net2が全解像度でラベルを洗練させる、2つの連結U-Netアーキテクチャ。
• Net1は収縮路で拡張率を増加させたdilated 5x5x5畳み込みを使用して、実効受容野を拡大する。
• Net2はSkip接続と再帰的な構造を持つSRCNNに着想を得た設計に従い、Net1の出力と元データの双方を入力とする。
• 4段階の訓練手順には、(1) 全体ボリュームでのROI局在化、(2) 部分ボリュームでの粗いマルチクラスセグメンテーション、(3) エンドツーエンド訓練による粗+細の共同セグメンテーション、(4) Axialスライスのサブボリューム上でのNet2の微調整（Kスライス）を含む。
• 重み付きマルチクラスDice損失（Eq. 2）とROI局在化の前景に焦点を当てたDice損失（Eq. 3–4）を用いて訓練を導く。Adamオプティマイザを0.0001の学習率で使用。
• データ拡張と階層的/サブボリュームサンプリングはデータ不均衡とメモリ制約に対処し、バッチ設計は低頻度クラスを均衡させるため中心ボクセルクラスに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 ポスト処理やリサンプリングを伴わない2段階の全解像度3Dセグメンテーションフレームワークは、単発の3D U-Netを上回ることができるか？
• RQ2 ROIベースの局在化と refine ステージの組み合わせは、高解像度の心臓CT/MRデータにおけるマルチクラスセグメンテーションを改善するか？
• RQ3 段階的な訓練手順と特別な損失関数は、MM-WHSデータにおける収束と精度にどう影響するか？
• RQ4 提案されたフレームワークは、CTとMRの両モダリティにおいてMM-WHSベンチマークで最先端のU-Netと競合できるか？

主な発見

• Net2はCT構造全体でベースラインの3D U-NetよりもDiceとJaccardスコアが高くなった。
• Net1はいくつかの構造でダウンサンプリング済みU-Netより改善を提供し、特にNet2と併用した場合に顕著だった。
• MM-WHSのテストデータでは、MRで非常に競争力のある結果を示し（MRの平均Diceは約0.83）、CTでもベースラインを顕著に上回った。結果は競技者の優勝者に近づき、訓練反復回数も少なく、追加のポスト処理なしで済んだ。
• この手法は全解像度での有効なセグメンテーションを示し、高解像度3D医用画像セグメンテーションのROI主導の2段階アプローチを検証する。
• 粗さと精細の損失を組み合わせたエンドツーエンド訓練は、別々のネットワークを訓練する場合より収束を加速し、性能を向上させる。