[論文レビュー] Modality-Pairing Learning for Brain Tumor Segmentation

Yixin Wang, Yao Zhang+6 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Neural Network Applications参考文献 15被引用数 15

ひとこと要約

本論文は、3D U-Netを用いた脳腫瘍セグメンテーションのためのモダリティペアリング学習フレームワークを提案する。2つの並列ブランチが、T1/T1ceおよびT2/FlairのペアMRIモダリティを処理し、密なスキップ接続と一貫性損失を用いて特徴の統合を強化する。この手法は、BraTS 2020チャレンジで全腫瘍、腫瘍コア、強化腫瘍のそれぞれについて、Diceスコアの平均が0.891、0.842、0.816を達成し、2位を獲得した。

ABSTRACT

Automatic brain tumor segmentation from multi-modality Magnetic Resonance Images (MRI) using deep learning methods plays an important role in assisting the diagnosis and treatment of brain tumor. However, previous methods mostly ignore the latent relationship among different modalities. In this work, we propose a novel end-to-end Modality-Pairing learning method for brain tumor segmentation. Paralleled branches are designed to exploit different modality features and a series of layer connections are utilized to capture complex relationships and abundant information among modalities. We also use a consistency loss to minimize the prediction variance between two branches. Besides, learning rate warmup strategy is adopted to solve the problem of the training instability and early over-fitting. Lastly, we use average ensemble of multiple models and some post-processing techniques to get final results. Our method is tested on the BraTS 2020 online testing dataset, obtaining promising segmentation performance, with average dice scores of 0.891, 0.842, 0.816 for the whole tumor, tumor core and enhancing tumor, respectively. We won the second place of the BraTS 2020 Challenge for the tumor segmentation task.

研究の動機と目的

• マルチモodal MRI脳腫瘍セグメンテーションにおける限られたモダリティ間特徴相互作用の課題に対処する。
• 入力レベルの統合の限界を克服し、T1/T1ceおよびT2/FlairのペアMRIモダリティ間の補完的関係をモデル化する。
• 一貫性正則化を用いたモダリティペアリング学習により、セグメンテーションのロバスト性と精度を向上させる。
• 学習率ウォームアップ戦略とモデルアンサンブル技術を用いて、訓練の不安定性と過学習を軽減する。
• 統合されたアーキテクチャ的および訓練的イノベーションにより、BraTS 2020ベンチマークで最先端のパフォーマンスを達成する。

提案手法

• 各ブランチがペアのMRIモダリティ（T1とT1ce、T2とFlair）を処理する二重ブランチ3D U-Netアーキテクチャを設計する。
• 両ブランチ間の対応するエンコーダーとデコーダー層の間に密なスキップ接続を設け、特徴の流れと補完性を向上させる。
• 2つのブランチからの高レベル特徴表現の間の一貫性を強制するため、モダリティペアリング損失を導入し、ロバストで整合性のある特徴学習を促進する。
• バッチ正則化とReLUの代わりに、各畳み込みブロックでインスタンス正則化とリ leaky ReLU を使用して訓練の安定性を向上させる。
• 訓練中に学習率ウォームアップを適用して不安定性を低減し、初期の過学習を防ぐ。
• 複数の訓練済みモデルの予測を平均化するアンサンブル手法を実装し、不審なセグメンテーションオブジェクトを除去するための後処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 二重ブランチアーキテクチャにモダリティペアリングを組み込むことで、マルチモダリティMRIセグメンテーションにおける標準的な入力レベルの統合と比較して、特徴表現学習が向上するか？
• RQ2 専用の損失関数によりペアモダリティブランチ間の一貫性を強制することで、セグメンテーションの精度とロバスト性が向上するか？
• RQ3 学習率ウォームアップ戦略が、脳腫瘍セグメンテーションのための深層3D U-Netモデルにおける訓練の安定性と一般化性能をどの程度向上させるか？
• RQ4 モデルアンサンブルと後処理は、BraTS 2020ベンチマークにおけるセグメンテーション出力の精錬と最終パフォーマンス向上にどの程度効果的か？
• RQ5 提案手法は、最先端のアプローチと比較してBraTS 2020チャレンジで競争力のある結果を達成できるか？

主な発見

• 提案手法は、BraTS 2020のオンラインテストセットにおいて、全腫瘍で0.891、腫瘍コアで0.842、強化腫瘍で0.816の平均Diceスコアを達成した。
• 本手法は、BraTS 2020チャレンジの脳腫瘍セグメンテーションタスクで78チーム中2位を獲得した。
• 上位3つのモダリティペアリングモデルと3つのバニラU-Netモデルのアンサンブルにより、検証セットにおける強化腫瘍のDiceスコアが0.785から0.793に向上した。
• 検証セットでは全腫瘍で平均Diceが0.907、腫瘍コアで0.837を記録し、高いセグメンテーション忠実度を示した。
• Hausdorff95指標では、境界精度が良好を維持しており、検証セットで全腫瘍の平均が4.71、腫瘍コアで5.70であった。
• 強化腫瘍の中央値Diceスコアは0.885であり、標準偏差が0.276と高いものの、症例全体にわたる一貫性あるパフォーマンスを示し、困難な症例でもロバストであることを示した。