[論文レビュー] 3D Convolutional Neural Networks for Tumor Segmentation using Long-range 2D Context

Pawel Mlynarski, Hervé Delingette+2 more|arXiv (Cornell University)|Jul 23, 2018

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、事前に抽出された特徴を介して長距離2次元コンテキストを統合する3次元畳み込みニューラルネットワーク（3D CNN）フレームワークを提案し、マルチシーケンスMRIにおける脳腫瘍セグメンテーションの性能を向上させる。モダリティ固有の2次元特徴抽出と3次元コンテキスト学習を組み合わせ、アンサンブル投票を用いることで、後処理を伴わず、BRATS 2017ベンチマークで全体腫瘍に対して0.918（Diceスコア）、核心部に対して0.883、強化核心部に対して0.854の高いスコアを達成した。

ABSTRACT

We present an efficient deep learning approach for the challenging task of tumor segmentation in multisequence MR images. In recent years, Convolutional Neural Networks (CNN) have achieved state-of-the-art performances in a large variety of recognition tasks in medical imaging. Because of the considerable computational cost of CNNs, large volumes such as MRI are typically processed by subvolumes, for instance slices (axial, coronal, sagittal) or small 3D patches. In this paper we introduce a CNN-based model which efficiently combines the advantages of the short-range 3D context and the long-range 2D context. To overcome the limitations of specific choices of neural network architectures, we also propose to merge outputs of several cascaded 2D-3D models by a voxelwise voting strategy. Furthermore, we propose a network architecture in which the different MR sequences are processed by separate subnetworks in order to be more robust to the problem of missing MR sequences. Finally, a simple and efficient algorithm for training large CNN models is introduced. We evaluate our method on the public benchmark of the BRATS 2017 challenge on the task of multiclass segmentation of malignant brain tumors. Our method achieves good performances and produces accurate segmentations with median Dice scores of 0.918 (whole tumor), 0.883 (tumor core) and 0.854 (enhancing core). Our approach can be naturally applied to various tasks involving segmentation of lesions or organs.

研究の動機と目的

• 大規模な3次元MRIボリュームにおける高計算効率な多クラス脳腫瘍セグメンテーションを正確に行う挑戦に応えること。
• 標準的な3D CNNの受容 field の制限を、長距離2次元コンテキスト情報を組み込むことで克服すること。
• 各画像シーケンスに特化したサブネットワークを用いることで、欠損したMRシーケンスに対する耐性を高めること。
• ボクセル単位の投票を用いた段階的な2次元-3次元モデルのアンサンブルにより、セグメンテーションの信頼性を向上させること。
• 後処理を不要とする、堅牢なエンドツーエンドのトレーニングおよび推論パイプラインを設計すること。

提案手法

• 各MRシーケンス（T1、T1c、T2、FLAIR）から高レベル特徴を別々の2次元CNNで抽出し、それらを3次元CNNの追加入力チャネルとして連結する。
• 3次元CNNは統合された入力を処理し、事前に計算された特徴からの長距離2次元コンテキストと短距離3次元空間的コンテキストの両方を活用してエンドツーエンドのセグメンテーションを実行する。
• 3次元MRIデータ上で大規模なCNNモデルを効率的にトレーニングするための新規なトレーニング戦略を導入し、メモリおよび計算コストを最小限に抑える。
• モダリティ固有のサブネットワークを、特定のシーケンスが欠損しているデータを用いて個別にトレーニングすることで、推論時における欠損データへの耐性を高める。
• 複数の2次元-3次元モデルをボクセル単位の投票によりアンサンブル化し、各モデルの性能とラベルの意味論に基づいて重みを付与する。
• CRFやモルフォロジカルフィルタリングなどの後処理手順を回避し、モデル固有の誘導的バイアスと特徴統合に依存する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを著しく増加させることなく、長距離2次元コンテキストを統合することで、3D CNNの腫瘍セグメンテーション性能を向上させることができるか？
• RQ2 トレーニングデータに欠損したMRシーケンスが含まれる場合、モダリティ固有のサブネットワークがどのように耐性を高めるか？
• RQ3 複数の2次元-3次元モデルのアンサンブル投票が、セグメンテーションの正確性および腫瘍サブレジオンへの感受性をどの程度向上させるか？
• RQ4 ハイブリッド2次元-3次元アーキテクチャは、受容場の広がりとセグメンテーションの正確性を向上させつつ、計算効率を維持できるか？
• RQ5 後処理技術（例：CRFやモルフォロジカル操作）に依存せず、アーキテクチャ設計と特徴統合にのみ依存して最先端の結果を達成できるか？

主な発見

• 本手法は、BRATS 2017ベンチマークにおいて、全体腫瘍のセグメンテーションで中央値のDiceスコア0.918を達成し、高いセグメンテーション正確性を示した。
• 腫瘍コアのセグメンテーションでは中央値のDiceスコア0.883を達成し、臨床的に最も重要なサブレジオンにおいても優れた性能を示した。
• 小さなが重要なサブレジオンである強化コアでは中央値のDiceスコア0.854を達成し、対照強化を示す微細な病変の検出能力が優れていることを示した。
• モダリティ固有のサブネットワークの使用により、トレーニングデータに欠損したMRシーケンスが含まれる場合でも性能が向上し、データのばらつきに対する耐性が高まった。
• アンサンブル投票戦略により、誤って陰性と判定されるケース（ファルスネガティブ）が効果的に低減され、腫瘍サブレジオンへの感受性が向上した。
• CRFやモルフォロジカル操作などの後処理技術に依存せず、最先端の性能を達成した。