[論文レビュー] Multi Modal Convolutional Neural Networks for Brain Tumor Segmentation

Mehmet Aygün, Yusuf H. Şahin+1 more|arXiv (Cornell University)|Sep 17, 2018

Brain Tumor Detection and Classification参考文献 12被引用数 26

ひとこと要約

本論文では、脳腫瘍セグメンテーションのためのマルチモodal 3次元畳み込みニューラルネットワークを提案する。各MRIモodal（T1、T1ce、T2、FLAIR）に対して別々の特徴表現を学習し、異なる段階でそれらを統合する。動画認識からの統合戦略（早期、中間、後期統合）を応用し、合算、最大値、畳み込み統合を用いることで、ベースライン比でDiceスコアが5%向上（86.97%）し、誤差率が30%低減された。

ABSTRACT

In this work, we propose a multi-modal Convolutional Neural Network (CNN) approach for brain tumor segmentation. We investigate how to combine different modalities efficiently in the CNN framework.We adapt various fusion methods, which are previously employed on video recognition problem, to the brain tumor segmentation problem,and we investigate their efficiency in terms of memory and performance.Our experiments, which are performed on BRATS dataset, lead us to the conclusion that learning separate representations for each modality and combining them for brain tumor segmentation could increase the performance of CNN systems.

研究の動機と目的

• マルチモーダルMRIデータ（T1、T1ce、T2、FLAIR）を深層学習フレームワーク内で効果的に統合することで、脳腫瘍セグメンテーションの精度を向上させること。
• 早期、中間、後期統合といった異なる統合戦略が、マルチモーダルCNNにおける性能とメモリ効率に与える影響を調査すること。
• 合算、最大値、畳み込みといった異なる統合関数が、計算コストを管理しながらセグメンテーション精度をどのように向上させるかを評価すること。
• 統合の前にモーダルに特化した表現を学習することで、単純なモーダルの連結よりも優れた性能が得られることを示すこと。
• マルチモーダルデータを用いた3次元医療画像セグメンテーションにおいて、メモリ効率が高くかつ高性能なアーキテクチャを提供すること。

提案手法

• 各MRIモーダルごとに別々の3次元畳み込みニューラルネットワーク（3D CNN）を用い、モーダル固有の特徴表現を学習する。
• 統合処理をネットワーク内の3つの異なる位置に適用：早期（最初の畳み込み層後）、中間（2番目後）、後期（4番目後）。
• 3種類の統合関数を評価：要素ごとの合算、要素ごとの最大値、3次元フィルタを用いた学習可能な畳み込み統合。
• ベースラインモデルは単一スケールの25×25×25ピッチと、先行研究に基づく3次元CNNアーキテクチャを採用し、後処理は行わない。
• Adam最適化法、交差エントロピー損失、L1/L2正則化、ドロップアウト（畳み込み層で2%、全結合層で50%）を用いてエンドツーエンド学習を実施。
• TensorFlowを用いてアーキテクチャを実装し、50エポックにわたり学習を行い、最良の検証精度を有するモデルを選択。

実験結果

リサーチクエスチョン

• RQ1 各MRIモーダルに対して別々の表現を学習することで、初期連結と比較してセグメンテーション性能が向上するか？
• RQ2 精度とメモリ効率のバランスが最良となる統合位置（早期、中間、後期）はどこか？
• RQ3 統合関数（合算、最大値、畳み込み）の中で、異なる統合位置において最高のセグメンテーション精度を達成するのはどれか？
• RQ4 本論文で主張されているように、マルチモーダル統合により脳腫瘍セグメンテーションの誤差率が30%低減できるか？
• RQ5 特に畳み込み統合を用いる場合、後期統合のメモリフットプリントは早期および中間統合と比較してどの程度大きいか？

主な発見

• 畳み込み統合を用いた後期統合が、86.97%という最高のDiceスコアを達成し、ベースラインモデル（81.25%）と比較して5%の向上を示した。
• 最良の設定により、ベースラインと比較してDiceオーバーラップの誤差率が30%低減され、顕著な性能向上が確認された。
• すべての統合関数において、後期統合が早期および中間統合を常に上回った。これは、高レベルの表現がモーダル固有の学習によってより利益を受けることを示している。
• 畳み込み統合関数は、追加の学習可能なフィルタのため、特に後期統合で最もメモリを要したが、最高の精度を達成した。
• 後期統合における最大値統合関数の精度対パラメータ比は0.2561と最も高く、合算や畳み込み統合よりも優れたメモリ効率を示した。
• 早期統合に合算、中間統合に畳み込みを除く、すべての統合戦略がベースラインを上回った。これは、モーダル固有の表現学習の利点を裏付けている。