[論文レビュー] NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation

Zhaohu Xing, Lequan Yu+3 more|arXiv (Cornell University)|Aug 31, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、階層的統合メカニズムを通じて、モダリティ内およびモダリティ間の依存関係を明示的にモデル化する、新しいネスト型モダリティに敏感なトランスフォーマー「NestedFormer」を提案する。三方向空間注意機構とモダリティに敏感なゲーティングを統合することで、BraTS2020およびプライベートなメニンジオーマデータセットにおいて最先端の性能を達成し、腫瘍セグメンテーションで1.5%のDiceスコア向上、先行手法より平均で1.0%のDiceスコア向上を達成した。

ABSTRACT

Multi-modal MR imaging is routinely used in clinical practice to diagnose and investigate brain tumors by providing rich complementary information. Previous multi-modal MRI segmentation methods usually perform modal fusion by concatenating multi-modal MRIs at an early/middle stage of the network, which hardly explores non-linear dependencies between modalities. In this work, we propose a novel Nested Modality-Aware Transformer (NestedFormer) to explicitly explore the intra-modality and inter-modality relationships of multi-modal MRIs for brain tumor segmentation. Built on the transformer-based multi-encoder and single-decoder structure, we perform nested multi-modal fusion for high-level representations of different modalities and apply modality-sensitive gating (MSG) at lower scales for more effective skip connections. Specifically, the multi-modal fusion is conducted in our proposed Nested Modality-aware Feature Aggregation (NMaFA) module, which enhances long-term dependencies within individual modalities via a tri-orientated spatial-attention transformer, and further complements key contextual information among modalities via a cross-modality attention transformer. Extensive experiments on BraTS2020 benchmark and a private meningiomas segmentation (MeniSeg) dataset show that the NestedFormer clearly outperforms the state-of-the-arts. The code is available at https://github.com/920232796/NestedFormer.

研究の動機と目的

• 既存のマルチモodal MRIセグメンテーション手法が、複雑なモダリティ内およびモダリティ間関係をモデル化しない早期またはレイヤーワイズ統合に依存しているという制限を解決すること。
• 腫瘍および浮腫のセグメンテーションを向上させるために、MRIモダリティ内および間の長距離空間的依存関係を効果的に捉えるフレームワークを開発すること。
• 任意の数のMRIシーケンスを処理できるモダリティに依存しないスケーラブルなアーキテクチャを設計し、特徴統合とスキップ接続の効率を向上させること。
• 低レベル特徴の動的でモダリティに敏感なフィルタリングを通じて、スキップ接続における特徴の再利用を強化すること。

提案手法

• 本手法は、各MRIモダリティから階層的ボリューム特徴を抽出するために複数のGlobal Poolformerエンコーダーを採用し、グローバルな空間的一致性を重視する。
• 新規のネスト型モダリティに敏感な特徴統合（NMaFA）モジュールがネスト型統合を実行する：まず三方向空間アテンショントランスフォーマーを用いてモダリティ内での長距離依存関係をモデル化し、次にクロスモダリティアテンショントランスフォーマーを用いて異なるモダリティ間の補完的情報を統合する。
• 三方向空間アテンション（TSA）機構は、特徴マップを3つの直交する軸に沿って並列処理することで、3D空間的一致性の計算を高速化する。
• モダリティに敏感なゲーティング（MSG）モジュールは、スキップ接続の前に低レベル特徴を動的にフィルタリングおよび再重み付けし、デコーダーにおけるモダリティに敏感な特徴の再利用を可能にする。
• 本アーキテクチャは、単一のデコーダーに複数のエンコーダー入力を使用しており、計算効率を維持しながらエンドツーエンド学習を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 標準的な早期またはミドルレベル統合と比較して、ネスト型で階層的な統合戦略は、マルチモダリティMRIにおけるモダリティ内およびモダリティ間関係をより効果的に活用できるか？
• RQ2 標準的な自己アテンションと比較して、三方向空間アテンションの統合は、ボリュームMRIデータにおける3D空間的一致性のモデル化を改善できるか？
• RQ3 モダリティに敏感なゲーティングは、スキップ接続における特徴の再利用を向上させ、結果としてセグメンテーション精度を向上させられるか？
• RQ4 提案されたNestedFormerは、公的（BraTS2020）およびプライベート（MeniSeg）脳腫瘍セグメンテーションベンチマークにおいて、最先端手法と比較してどのように性能を発揮するか？

主な発見

• BraTS2020ベンチマークでは、NestedFormerが腫瘍セグメンテーションで平均Diceスコア0.857、浮腫セグメンテーションで0.801を達成し、比較したすべての最先端手法を上回った。
• プライベートなMeniSegデータセットでは、腫瘍セグメンテーションで最高のベースライン（MAML）の0.819と比較して、1.5%の絶対的Diceスコア向上（0.834）を達成した。
• MeniSegにおける浮腫セグメンテーションで、HD95スコア6.173を記録し、境界精度が優れていることを示した。
• アブレーションスタディの結果、NMaFAモジュールとMSGモジュールの両方が性能向上に顕著な寄与を示し、フルモデルがMeniSegで平均Diceスコア0.765を達成した。
• BraTS2020およびMeniSegにおける可視化比較では、NestedFormerがすべての競合手法よりも正確で完全な腫瘍および浮腫セグメンテーションを生成した。