[論文レビュー] Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation

Kuan-Lun Tseng, Yen-Liang Lin+2 more|arXiv (Cornell University)|Apr 25, 2017

Medical Imaging and Analysis参考文献 21被引用数 25

ひとこと要約

本稿では、マルチモodal MRI特徴をクロスモダリティ畳み込みにより統合し、2Dスライス間の順序的依存関係を畳み込みLSTMでモデル化することで、3Dバイオメディカル画像セグメンテーションを目的としたエンドツーエンドのディープエンコーダ・デコーダネットワークを提案する。本手法は、2段階訓練とクラス不均衡の補正を用いることで、BRATS-2015データセットで最先端の性能を達成し、mIoUが73.52%に達した。

ABSTRACT

Deep learning models such as convolutional neural net- work have been widely used in 3D biomedical segmentation and achieve state-of-the-art performance. However, most of them often adapt a single modality or stack multiple modalities as different input channels. To better leverage the multi- modalities, we propose a deep encoder-decoder structure with cross-modality convolution layers to incorporate different modalities of MRI data. In addition, we exploit convolutional LSTM to model a sequence of 2D slices, and jointly learn the multi-modalities and convolutional LSTM in an end-to-end manner. To avoid converging to the certain labels, we adopt a re-weighting scheme and two-phase training to handle the label imbalance. Experimental results on BRATS-2015 show that our method outperforms state-of-the-art biomedical segmentation approaches.

研究の動機と目的

• T1、T1c、T2、FLAIRといった異なる組織反応を捉えるマルチモダリティMRIデータを効果的に統合することで、3Dバイオメディカル画像セグメンテーションの性能を向上させること。
• 連続する2D MRIスライス間の空間的および順序的相関をモデル化し、3Dボリューム全体にわたる構造的連続性を維持すること。
• 特に正常組織（ラベル0）の深刻なクラス不均衡を、再重み付けと2段階訓練により是正することで、腫瘍セグメンテーションの性能を向上させること。
• 複数の解像度で異なるMRIモダリティ間の特徴集約を可能にする、新規のクロスモダリティ畳み込み層を設計すること。
• 統合的なディープラーニングフレームワーク内で、マルチモダリティ特徴統合と順序モデリングをエンドツーエンドで最適化すること。

提案手法

• マルチモダリティエンコーダは、T1、T1c、T2、FLAIRといった個別のMRIモダリティを、それぞれ独立した2次元畳み込みネットワークで処理し、深層的な意味的特徴を抽出する。
• 新規のクロスモダリティ畳み込み（CMC）層は、共有された空間的位置においてモダリティ固有の相互作用を学習することで、異なるモダリティからの特徴を統合する。
• 畳み込みLSTM層をスライスの連続列に適用し、隣接スライス間の長距離の空間的および時間的依存関係をモデル化する。
• エンコーダ・デコーダアーキテクチャは、転置畳み込みを用いて最終的な特徴マップをアップサンプリングし、元の解像度での3Dセグメンテーションを再構築する。
• 2段階訓練戦略を採用：まず標準的な交差エントロピーを用いてモデルを訓練し、次にクラスウェイトを再計算して微調整することで、代表度が低いクラス（例：正常組織）の性能を向上させる。
• 複数解像度の特徴統合（MRF）戦略により、エンコーダの複数段階からの特徴を統合し、空間的詳細の保持とセグメンテーション精度の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 標準的な2Dまたは3D CNNと比較して、マルチモダリティMRIデータと連続スライス依存関係の共同モデリングが、3Dバイオメディカル画像セグメンテーション性能を向上させるか？
• RQ2 単純なチャネルスタッキングと比較して、専用のクロスモダリティ畳み込み層が、T1、T1c、T2、FLAIRといった異なるMRIシーケンス間の特徴統合をどのように向上させるか？
• RQ3 畳み込みLSTMによる順序学習を組み込むことで、急速に変化する解剖的構造を示す領域におけるセグメンテーション精度がどの程度向上するか？
• RQ4 再重み付けと2段階訓練により、特に正常組織に対して深刻なクラス不均衡が生じる腫瘍セグメンテーションにおいて、その影響を効果的に緩和できるか？
• RQ5 提案されたエンドツーエンドフレームワークは、U-Netなどの既存の最先端手法と比較して、ベンチマーク3Dセグメンテーションタスクで一貫して優れた性能を示すか？

主な発見

• 提案手法は、BRATS-2015データセットでmIoUが73.52%を達成し、U-Netや他の最先端手法を上回った。
• クロスモダリティ畳み込み（CMC）の導入により、入力チャネルとしてモダリティをスタックするベースラインエンコーダ・デコーダモデルと比較して、mIoUが約2%向上した。
• 複数解像度の特徴統合（MRF）により、基本的なエンコーダ・デコーダモデルと比較して性能が10%向上し、異なるスケールでの特徴統合の価値が示された。
• 2段階訓練は、mIoUに重要な影響を与えるラベル0（正常組織）の正確性を顕著に向上させ、より滑らかで一貫性のあるセグメンテーションマップを生成した。
• 畳み込みLSTMコンponentは、BRATS-2015およびCamVidの両データセットで一貫して性能を向上させ、スライス間の順序的依存関係をモデル化する有効性を裏付けた。
• 可視化結果から、本手法は、特に2段階訓練後において、複雑な腫瘍境界や小さな構造物についても、より正確で詳細な予測を生成していることが明らかになった。