[論文レビュー] A 3D Coarse-to-Fine Framework for Volumetric Medical Image Segmentation

Zhuotun Zhu, Yingda Xia+3 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Neural Network Applications参考文献 29被引用数 6

ひとこと要約

本稿では、CTスキャンにおけるボリュメトリック膵臓セグメンテーションのための、軽量な3次元残差ネットワーク（ResDSN）を用いた3次元の粗くから細かくまでのフレームワークを提案する。粗い3次元FCNを低重複度で全ボリュームに適用して膵臓の局所化を行い、その後、局所化領域に対して高い重複度を有する細かい3次元FCNを適用することで、全ボリューム推論に比べ36%高速な推論時間で、SOTAのDiceスコア（NIHデータセットにおける平均DSC 84.59%）を達成し、挑戦的な通常および病理的症例において顕著に高いロバスト性を示した。

ABSTRACT

In this paper, we adopt 3D Convolutional Neural Networks to segment volumetric medical images. Although deep neural networks have been proven to be very effective on many 2D vision tasks, it is still challenging to apply them to 3D tasks due to the limited amount of annotated 3D data and limited computational resources. We propose a novel 3D-based coarse-to-fine framework to effectively and efficiently tackle these challenges. The proposed 3D-based framework outperforms the 2D counterpart to a large margin since it can leverage the rich spatial infor- mation along all three axes. We conduct experiments on two datasets which include healthy and pathological pancreases respectively, and achieve the current state-of-the-art in terms of Dice-Sørensen Coefficient (DSC). On the NIH pancreas segmentation dataset, we outperform the previous best by an average of over 2%, and the worst case is improved by 7% to reach almost 70%, which indicates the reliability of our framework in clinical applications.

研究の動機と目的

• 小規模で変動が大きく、病理的変化を示す臓器を対象とした、ボリュメトリックCTスキャンにおける正確かつ効率的な3次元膵臓セグメンテーションの課題を解決すること。
• 3次元空間的文脈を失い、スライス単位の予測が一貫性のない2次元完全畳み込みネットワーク（FCN）の限界を克服すること。
• GPUメモリ制約下でも計算コストが低く抑えられ、同時に完全な3次元文脈を活用できる3次元ディープラーニングフレームワークの開発。
• サイズ・形状・テクスチャの変動性に起因する低Diceスコアが生じるケースを含め、通常および異常膵臓におけるセグメンテーション性能の向上。
• 適応的重複度を有する新規の粗くから細かくまでの推論戦略により、高精度と低推論時間の両立を実現すること。

提案手法

• 計算コストを低減し、効率的な推論を可能にするために、長距離スキップ接続のみを有する3次元完全畳み込みネットワーク（ResDSN）を設計。
• 粗い段階では、全3次元ボリュームに小スライディングウィンドウ（n=6）を適用し、ResDSN Coarseモデルを用いて膵臓の粗い局所化を生成。
• 細かい段階では、粗い局所化領域に限定して、より大きな重複度（n=12）を有するResDSN Fineモデルを適用し、精度を向上させる。
• 粗い推論用に全ボリューム、細かい推論用に局所化されたバウンディングボックスという2つの異なる入力領域を活用することで、文脈内での特徴学習を向上。
• 両方の粗いおよび細かいネットワークの中間層に補助損失を適用することで、深層監督を実装し、学習の安定性と一般化性能を向上。
• 低コストの粗い検出と高精度な細かい精錬を組み合わせた2段階推論パイプラインにより、全ボリュームでの細かい推論に比べ、合計推論時間を36%短縮。

実験結果

リサーチクエスチョン

• RQ1 適応的重複度を有する3次元の粗くから細かくまでのフレームワークは、ボリュメトリック膵臓セグメンテーションにおいて推論時間を短縮しつつ、セグメンテーション精度を向上させることができるか？
• RQ2 2次元スライス単位の手法と比較して、3次元FCNが完全な3次元空間的文脈を活用することで、Diceスコアおよび挑戦的症例におけるロバスト性にどのような差を生じるか？
• RQ3 深層監督は、特に低Diceスコアが生じるケースにおいて、3次元膵臓セグメンテーションモデルの安定性と性能にどの程度寄与するか？
• RQ4 長距離残差接続のみを有する軽量3次元ネットワークは、計算コストを著しく低減しつつも、高い精度を維持できるか？
• RQ5 粗くから細かくまでの戦略は、嚢胞性異常を示すケースを含む通常および病理的膵臓の両方において一般化可能か？

主な発見

• 提案された3次元の粗くから細かくまでのフレームワーク（ResDSN C2F）は、NIH膵臓データセットにおいて平均Dice-Sørensen係数（DSC）84.59%を達成し、以前のSOTA手法を上回った。
• 深層監督を導入することで、最悪ケースのDSCは51.83%（深層監督なし）から69.62%に向上し、困難な症例における顕著な安定性向上を示した。
• 平均推論時間は、全ボリュームでの細かい推論の382秒から245秒に短縮され、36%の高速化を達成したが、同時に高い精度を維持した。
• ResDSN Coarseモデルは、わずか111秒の推論時間で平均DSC 83.18%を達成し、粗い局所化において高い効率性を示した。
• 2次元ベースラインに比べて大幅に優れた性能を示し、特に低Diceスコアケースにおいて7%の向上を達成し、最悪ケースでもほぼ70%のDSCに到達した。
• 本手法は、嚢胞変異を含む通常および病理的膵臓の両方で有効であり、臨床的文脈に即したシナリオにおけるロバスト性を確認した。