[論文レビュー] Joint CS-MRI Reconstruction and Segmentation with a Unified Deep Network

Liyan Sun, Zhiwen Fan+3 more|arXiv (Cornell University)|May 6, 2018

Advanced MRI Techniques and Applications被引用数 5

ひとこと要約

本稿では、再構成とセグメンテーションの両ブランチを統合した、キャスケード構造を有する共有エンコーダ・デコーダアーキテクチャを用いた統合的深層学習フレームワーク、SegNetMRIを提案する。この手法は、エンドツーエンド学習と特徴量共有により、タスク間の相互正則化を可能にし、再構成精度（PSNR: 34.27 dB）とセグメンテーション性能（Dice: 86.38%）の両方を向上させ、個別に処理する再構成・セグメンテーションパイプラインを上回る性能を達成した。

ABSTRACT

The need for fast acquisition and automatic analysis of MRI data is growing in the age of big data. Although compressed sensing magnetic resonance imaging (CS-MRI) has been studied to accelerate MRI by reducing k-space measurements, in current CS-MRI techniques MRI applications such as segmentation are overlooked when doing image reconstruction. In this paper, we test the utility of CS-MRI methods in automatic segmentation models and propose a unified deep neural network architecture called SegNetMRI which we apply to the combined CS-MRI reconstruction and segmentation problem. SegNetMRI is built upon a MRI reconstruction network with multiple cascaded blocks each containing an encoder-decoder unit and a data fidelity unit, and MRI segmentation networks having the same encoder-decoder structure. The two subnetworks are pre-trained and fine-tuned with shared reconstruction encoders. The outputs are merged into the final segmentation. Our experiments show that SegNetMRI can improve both the reconstruction and segmentation performance when using compressive measurements.

研究の動機と目的

• 既存のCS-MRIおよびセグメンテーション手法が再構成とセグメンテーションを独立したタスクとして扱うというギャップを解消すること。
• 圧縮サンプリング下で、MRI再構成とセグメンテーションを同時に最適化する統合的深層ニューラルネットワークの開発。
• 両サブネットワーク間でエンコーダ特徴量を共有することにより、再構成とセグメンテーションの間での相互正則化を可能にすること。
• 通常のCS-MRIパイプラインで軽視されがちな、アンダーサンプリングされたk空間データにおけるセグメンテーション精度の向上。
• ジョイント学習が、逐次的または独立的なアプローチと比較して、再構成忠実度とセグメンテーション性能の両方を向上させることの実証。

提案手法

• SegNetMRIは、MRI再構成ネットワーク（MRN）とセグメンテーションネットワーク（MSN）を組み合わせたキャスケードブロック構造に基づく。両ネットワークともエンコーダ・デコーダユニットを有する。
• MRNは、アンダーサンプリングされたk空間測定値との整合性を保つためのデータ適合項を用いるが、MSNは意味的セグメンテーションを実行する。
• 2つのネットワークは同じエンコーダコンponentsを共有しており、トレーニング中に特徴量の転送と相互正則化を可能にしている。
• 複数のMSNデコーダの出力を連結し、1×1畳み込みによって統合して最終的なセグメンテーションを出力する。
• モデルは再構成およびセグメンテーションタスクで別々に事前学習した後、共有エンコーダ重みを用いてエンドツーエンドでファインチューニングされる。
• アーキテクチャは、再構成（ℓ₂）とセグメンテーション（交差エントロピーまたはDice）の目的関数を統合したユニフィード損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 再構成とセグメンテーションを同時に学習することで、それらを別個に処理する手法と比較して性能が向上するか？
• RQ2 再構成とセグメンテーションサブネットワーク間でエンコーダ特徴量を共有することで、一般化性能と精度が向上するか？
• RQ3 1×1畳み込み統合層の導入が、複数のデコーダ出力からのセグメンテーション性能にどのように影響するか？
• RQ4 アンダーサンプリングされたk空間データにおいて、ジョイントフレームワークが再構成誤差をどの程度低減し、セグメンテーションDiceスコアを向上させるか？
• RQ5 SegNetMRIにおけるキャスケードブロック数の増加が、再構成とセグメンテーション両方の性能に一貫した改善をもたらすか？

主な発見

• SegNetMRIは、再構成MRIにおけるPSNRが34.27 dBに達し、GBRWT（31.80 dB）、MRN 5（33.94 dB）、Liu et al.（2017）（33.47 dB）を上回った。
• グレイマターのセグメンテーションにおいて、Dice係数は86.38%に達し、初期ブロック（例：ブロック1で75.15%）からの個別MSN出力と比べ顕著に優れた性能を示した。
• グレイマターのセグメンテーションにおけるハウスドルフ距離（HD）は1.66に、ボリューム差分（AVD）は2.52にまで低下し、高いセグメンテーション精度を示した。
• ジョイントトレーニングフレームワークは、再構成誤差を低減させ、特に診断的に重要な組織領域で顕著な改善が見られた（残差マップで示された）。
• ブロック数（N）を増加させることで、再構成PSNRとセグメンテーションDiceスコアが向上し、N=5が最良の性能を示した。
• 1×1畳み込み統合層は、マルチスケール特徴量を効果的に統合し、個別のブロック出力よりも優れたセグメンテーション性能を実現した。