[論文レビュー] Multi-modal Brain Tumor Segmentation via Missing Modality Synthesis and Modality-level Attention Fusion

Ziqi Huang, Li Lin+3 more|arXiv (Cornell University)|Mar 9, 2022

Brain Tumor Detection and Classification被引用数 11

ひとこと要約

本稿では、パッチワイズの対照的学習を用いて欠落しているT1ce MRIスキャンを合成し、モダリティレベルのアテンションによるモダリティ統合を実行するエンドツーエンドフレームワーク、MAF-Netを提案する。T1ce合成のSSIMは0.8879、PSNRは22.78を達成し、BraTS2020における腫瘍コアセグメンテーションで67.9%のDiceスコアを達成する。合成とセグメンテーションの両タスクに相互強化効果が見られることを示している。

ABSTRACT

Multi-modal magnetic resonance (MR) imaging provides great potential for diagnosing and analyzing brain gliomas. In clinical scenarios, common MR sequences such as T1, T2 and FLAIR can be obtained simultaneously in a single scanning process. However, acquiring contrast enhanced modalities such as T1ce requires additional time, cost, and injection of contrast agent. As such, it is clinically meaningful to develop a method to synthesize unavailable modalities which can also be used as additional inputs to downstream tasks (e.g., brain tumor segmentation) for performance enhancing. In this work, we propose an end-to-end framework named Modality-Level Attention Fusion Network (MAF-Net), wherein we innovatively conduct patchwise contrastive learning for extracting multi-modal latent features and dynamically assigning attention weights to fuse different modalities. Through extensive experiments on BraTS2020, our proposed MAF-Net is found to yield superior T1ce synthesis performance (SSIM of 0.8879 and PSNR of 22.78) and accurate brain tumor segmentation (mean Dice scores of 67.9%, 41.8% and 88.0% on segmenting the tumor core, enhancing tumor and whole tumor).

研究の動機と目的

• 脳腫瘍診断において造影剤の必要性と追加のスキャン時間による、欠落しているT1ce MRIスキャンの臨床的課題に対処すること。
• 利用可能なT1、T2およびFLAIRシーケンスから高品質なT1ce画像を合成することで、脳腫瘍セグメンテーションの性能を向上させること。
• モダリティの合成と腫瘍セグメンテーションを共同で最適化する統合フレームワークを構築し、両タスク間の相互利益を活用すること。
• 対応のないデータを用いた学習を可能とすることで、実臨床環境において対応T1ceスキャンが稀である現実的課題への対応を高めること。

提案手法

• T1、T2およびFLAIR画像から、T1ce合成のための強固なマルチモodalな潜在特徴を抽出するパッチワイズの対照的学習戦略を提案する。
• ターゲットタスクに対する関連性に応じて、異なるMRIモダリティのアテンション重みを動的に割り当てるモダリティレベルのアテンション統合ブロックを導入する。
• T1ce画像の生成と同時にセグメンテーションマスクの生成を可能とするデュアルヘッドデコーダーを採用し、エンドツーエンドの共同最適化を実現する。
• 対応T1ceデータを必要とせず、パッチレベルでの自己教師付き対照的損失を用いて特徴表現学習を強化する。
• 合成されたT1ce画像の現実性を向上させるために、GANベースのディスクライマーを適用し、高い知覚的品質を確保する。
• 対応のないトレーニングデータを用いて、対応T1ceスキャンの必要性を回避しながら、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 パッチワイズの対照的学習は、T1、T2およびFLAIRシーケンスから欠落しているT1ce MRIスキャンを合成するためのマルチモダリティ特徴を効果的に抽出できるか？
• RQ2 固定またはチャネルワイズの統合と比較して、モダリティレベルのアテンション統合は、合成されたT1ceの品質およびセグメンテーション性能を向上させるか？
• RQ3 対応のないデータで学習されたとしても、T1ce合成と腫瘍セグメンテーションの共同最適化が、両タスクの性能向上をもたらすか？
• RQ4 本手法は、最先端のGANベースの画像変換モデルと比較して、T1ce合成の忠実度および下流のセグメンテーション精度において優れているか？

主な発見

• MAF-NetはBraTS2020において、T1ce合成のSSIMが0.8879、PSNRが22.78を達成し、CycleGAN（SSIM: 0.8574、PSNR: 21.62）および他の最先端手法を上回った。
• 腫瘍コア（TC）のセグメンテーションで平均Diceスコア67.9%、強化腫瘍（ET）で41.8%、全腫瘍（WT）で88.0%を達成した。
• トレーニング時に対応T1ceデータを一切使用しなかったにもかかわらず、対応データで学習された複数のモデルを上回り、特に強化腫瘍および腫瘍コアのセグメンテーションで優れた性能を示した。
• 可視化結果から、MAF-Netは腫瘍の局在が正確で、境界が明瞭なT1ce画像を生成しており、これがセグメンテーションに直接的利点をもたらしていることが示された。
• モダリティレベルのアテンション統合機構は、各MRIモダリティからの関連特徴を効果的に強調し、特徴表現の質とセグメンテーションのロバスト性を向上させた。
• 合成とセグメンテーションタスクの共同学習により、相互に性能向上が見られ、画像生成とセグメンテーションがこの文脈において相乗効果をもたらすという仮説が裏付けられた。