[論文レビュー] Automatic 3D bi-ventricular segmentation of cardiac images by a shape-refined multi-task deep learning approach

Jinming Duan, Ghalib Bello+8 more|arXiv (Cornell University)|Aug 26, 2018

Advanced MRI Techniques and Applications参考文献 35被引用数 12

ひとこと要約

本稿では、短径切片の心筋MRIから自動的に3次元両心室をセグメンテーションする形状修正付きマルチタスク深層学習パイプラインを提案する。2.5次元畳み込みニューラルネットワークとランドマークに基づくアトラス伝搬を組み合わせることで、画像アーチファクトの影響を軽減し、解剖学的滑らかさを確保する。本手法は、スライスのずれ、厚いスライス、不完全な被覆といった課題にもかかわらず、両健康被験者および肺高血圧症患者において高解像度で正確かつ頑健なセグメンテーションを達成する。

ABSTRACT

Deep learning approaches have achieved state-of-the-art performance in cardiac magnetic resonance (CMR) image segmentation. However, most approaches have focused on learning image intensity features for segmentation, whereas the incorporation of anatomical shape priors has received less attention. In this paper, we combine a multi-task deep learning approach with atlas propagation to develop a shape-constrained bi-ventricular segmentation pipeline for short-axis CMR volumetric images. The pipeline first employs a fully convolutional network (FCN) that learns segmentation and landmark localisation tasks simultaneously. The architecture of the proposed FCN uses a 2.5D representation, thus combining the computational advantage of 2D FCNs networks and the capability of addressing 3D spatial consistency without compromising segmentation accuracy. Moreover, the refinement step is designed to explicitly enforce a shape constraint and improve segmentation quality. This step is effective for overcoming image artefacts (e.g. due to different breath-hold positions and large slice thickness), which preclude the creation of anatomically meaningful 3D cardiac shapes. The proposed pipeline is fully automated, due to network's ability to infer landmarks, which are then used downstream in the pipeline to initialise atlas propagation. We validate the pipeline on 1831 healthy subjects and 649 subjects with pulmonary hypertension. Extensive numerical experiments on the two datasets demonstrate that our proposed method is robust and capable of producing accurate, high-resolution and anatomically smooth bi-ventricular 3D models, despite the artefacts in input CMR volumes.

研究の動機と目的

• 短径切片心筋MRIからのアーチファクトに起因する3次元両心室セグメンテーションの不正確さに対処すること。
• アトラス伝搬による明示的な形状事前知識の統合により、セグメンテーションの滑らかさと解剖学的妥当性を向上させること。
• ランドマーク検出を活用した非剛性登錏のためのロバストな初期化を実現する完全自動パイプラインの開発。
• 2.5次元ネットワーク設計により計算コストを低減しつつ、高いセグメンテーション精度を維持すること。
• 肺高血圧症を含む多様な被験者集団、特に病理的症例における性能の妥当性を検証すること。

提案手法

• 2.5次元畳み込みニューラルネットワーク（FCN）を訓練し、短径切片心筋MRIスライスにおいて同時にセグメンテーションマスクとランドマークの位置を予測する。
• 2.5次元アーキテクチャは、3次元空間的一致性を保ちつつ、3次元ネットワークに比べて高い計算コストを回避するため、スタックされた2次元スライスに2次元畳み込みを適用する。
• FCNから得られたランドマーク予測値を用いて、マルチアトラスフレームワークにおける非剛性登錏の初期化を実施する。
• アトラス伝搬では、ランドマーク類似度に基づいて最も類似したアトラスを選択し、非局所的ラベル統合を実行して精錬されたセグメンテーションを生成する。
• 形状精錬ステップでは、集団アトラスからの事前知識を活用して、解剖学的妥当性を明示的に強制する。
• 入力ボリュームのロード後は、すべての段階が完全に自動化されており、手動による介入は不要である。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションとランドマークを同時に予測するマルチタスク深層学習モデルは、一般的なCMRアーチファクトが存在する状況下で、3次元両心室セグメンテーションの正確性を向上させることができるか？
• RQ2 アトラス伝搬による形状事前知識は、CMRボリュームにおけるスライス間のずれ、大きなスライス厚さ、不完全な被覆に対してどの程度補正効果を発揮するか？
• RQ3 提案された2.5次元FCNアーキテクチャは、2次元および3次元ネットワークと比較して、セグメンテーションの正確性と計算効率の面でどの程度優れているか？
• RQ4 ランドマークに基づく非剛性登錏とラベル統合の統合は、標準的な深層学習手法と比較して、より滑らかで解剖学的に現実的な3次元モデルを生成できるか？
• RQ5 肺高血圧症を有する心臓、特に病理的症例において、本パイプラインのセグメンテーション性能は健康被験者と比較してどの程度頑健であるか？

主な発見

• 提案されたパイプラインは、1831例の健康被験者および649例の肺高血圧症患者において高いセグメンテーション正確性を達成し、両心室のDiceスコアが常に0.9以上であった。
• 入力ボリュームに著しいアーチファクト（例：スライス間のずれ、不完全な心尖部被覆）が存在しても、解剖学的に滑らかな3次元モデルが生成された。
• 低解像度CMRボリュームにおいて、SSLLN-LR+SRパイプラインは高解像度スキャンの手動セグメンテーションと比較して、臨床的指標（例：LVV、RVV）にわずかな絶対差（例：LVVで10.42 ml）しか示さなかった。
• RVV差のp値は0.001であり、統計的に有意ではあるが小さな乖離を示しており、手動基準との高い一致を示唆している。
• 形状精錬ステップにより、ベースラインの2D FCNオンリーモデルと比較して、セグメンテーションの滑らかさが著しく向上し、階段状アーチファクトが減少した。
• 高い正確性を達成しているにもかかわらず、非剛性登錏とラベル統合がCPUベースであるため、1被験者あたり15〜20分の計算時間がかかっており、計算上のボトルネックが顕在化している。