[論文レビュー] mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation

Yao Zhang, Nanjun He+7 more|arXiv (Cornell University)|Jun 6, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

本稿では、モダリティ固有のエンコーダー、モダリティ間の特徴統合を図るインターモダリティ・トランスフォーマー、および補助正則化子を備えた段階的デコーダーを組み合わせることで、臨床的条件下でマルチモodal MRIが不完全な状況下でも頑健な脳腫瘍セグメンテーションを実現する、mmFormerと呼ばれるマルチモーダル医療トランスフォーマーを提案する。1つのモダリティのみが利用可能な状況においても、強化腫瘍のセグメンテーションで平均Diceスコアを19.07%向上させ、完全なマルチモーダル設定と不完全な設定の両方で最先端の手法を上回る性能を達成している。

ABSTRACT

Accurate brain tumor segmentation from Magnetic Resonance Imaging (MRI) is desirable to joint learning of multimodal images. However, in clinical practice, it is not always possible to acquire a complete set of MRIs, and the problem of missing modalities causes severe performance degradation in existing multimodal segmentation methods. In this work, we present the first attempt to exploit the Transformer for multimodal brain tumor segmentation that is robust to any combinatorial subset of available modalities. Concretely, we propose a novel multimodal Medical Transformer (mmFormer) for incomplete multimodal learning with three main components: the hybrid modality-specific encoders that bridge a convolutional encoder and an intra-modal Transformer for both local and global context modeling within each modality; an inter-modal Transformer to build and align the long-range correlations across modalities for modality-invariant features with global semantics corresponding to tumor region; a decoder that performs a progressive up-sampling and fusion with the modality-invariant features to generate robust segmentation. Besides, auxiliary regularizers are introduced in both encoder and decoder to further enhance the model's robustness to incomplete modalities. We conduct extensive experiments on the public BraTS $2018$ dataset for brain tumor segmentation. The results demonstrate that the proposed mmFormer outperforms the state-of-the-art methods for incomplete multimodal brain tumor segmentation on almost all subsets of incomplete modalities, especially by an average 19.07% improvement of Dice on tumor segmentation with only one available modality. The code is available at https://github.com/YaoZhang93/mmFormer.

研究の動機と目的

• 臨床現場において脳腫瘍のマルチモーダルセグメンテーションの性能が著しく低下する問題に取り組むこと。特にT1、T1c、T2、FLAIRなどのMRIモダリティの1つ以上が欠損している状況での性能劣化を解消する。
• 再トレーニングを必要とせず、利用可能なモダリティのすべてのサブセットに一般化可能な統合型ディープラーニングモデルの開発。
• トランスフォーマーの長距離依存性モデリング能力を活用し、モダリティに依存しない表現を学習することで、不完全なデータに対する耐性を向上させること。
• エンコーダーおよびデコーダー両方のブランチに補助正則化子を統合し、欠損モダリティ下での一般化性能をさらに強化すること。
• BraTS 2018データセット上での不完全および完全なマルチモーダルセグメンテーションベンチマークにおいて、既存手法を上回ること。

提案手法

• モデルは、各モダリティ内での局所的およびグローバルなコンテキストを捉えるために、畳み込みバックボーンとイントラモダリティ・トランスフォーマーを組み合わせた4つのハイブリッドモダリティ固有エンコーダーを採用する。
• モダリティ間の長距離相関を構築・統合するため、インターモダリティ・トランスフォーマーを導入し、腫瘍領域のグローバルな意味的特徴を有するモダリティに依存しない特徴を生成する。
• 段階的アップサンプリングと特徴統合を行うデコーダーは、モダリティに依存しない特徴を用いて最終的なセグメンテーションマスクを生成する。
• エンコーダーおよびデコーダー両方のブランチに補助正則化子を適用し、モダリティ欠損状況下での一般化性能を向上させる。
• モデルはBraTS 2018データセット上で全モダリティを用いてエンドツーエンドでトレーニングされ、全15通りのモダリティ欠損組み合わせの下でテストされる。
• 評価は、強化腫瘍、腫瘍コア、全腫瘍サブレジオンにおけるDice類似係数（DSC）を用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 統合型トランスフォーマー基盤アーキテクチャは、欠損したMRIモダリティのすべての可能なサブセットにおいて、頑健な脳腫瘍セグメンテーションを達成できるか？
• RQ2 イントラモダリティおよびインターモダリティ・トランスフォーマーの統合は、不完全なマルチモーダル学習における特徴表現をどのように向上させるか？
• RQ3 補助正則化子は、モダリティ欠損状況下でモデルの耐性をどの程度向上させるか？
• RQ4 提案手法は、不完全および完全なマルチモーダルセグメンテーション設定の両方で、既存の最先端手法を上回るか？
• RQ5 欠損モダリティ数が増加するにつれて性能はどの程度低下するか？また、mmFormerはこのような状況でも優位性を維持できるか？

主な発見

• 1つのモダリティのみが利用可能な状況において、mmFormerは強化腫瘍セグメンテーションで平均Diceスコアを19.07%向上させ、HeMIS や U-HVED より顕著に優れている。
• 全15通りのモダリティ欠損組み合わせにおいて、全腫瘍セグメンテーションでは15通り中12通りでHeMIS や U-HVED を上回り、強化腫瘍および腫瘍コアでは全15通りで優位性を示している。
• 3つのモダリティが欠損している状況では、腫瘍コアでHeMIS より平均Diceスコアを15.34%向上させ、全腫瘍では11.75%向上させた。
• 完全なマルチモーダル設定では、トランスフォーマー基盤のTransBTS よりも優れており、全腫瘍のDSCは89.64%を達成したのに対し、TransBTS は79.99%であった。
• アブレーションスタディの結果、インターモダリティ・トランスフォーマー、イントラモダリティ・トランスフォーマー、補助正則化子の各コンポーネントが性能向上に顕著に寄与しており、3つすべてを統合した場合に最も優れた結果が得られた。
• モデルは106Mパラメータで25時間のトレーニングで十分であり、全15通りのモダリティ欠損組み合わせをカバーするための15個の別個の学生モデルをトレーニングするのにACNが672時間、144Mパラメータを要するのに対し、はるかに効率的である。