[论文解读] Multi-modal Brain Tumor Segmentation via Missing Modality Synthesis and Modality-level Attention Fusion

Ziqi Huang, Li Lin+3 more|arXiv (Cornell University)|Mar 9, 2022

Brain Tumor Detection and Classification被引用 11

一句话总结

该论文提出 MAF-Net，一种用于多模态脑肿瘤分割的端到端框架，通过基于图像块的对比学习合成缺失的 T1ce MRI 扫描，并利用模态级注意力机制融合多模态信息。该方法在 BraTS2020 数据集上实现了 SOTA 性能，T1ce 合成的 SSIM 达到 0.8879，PSNR 为 22.78，肿瘤核心分割的 Dice 分数达到 67.9%，表明合成与分割任务之间存在相互增强作用。

ABSTRACT

Multi-modal magnetic resonance (MR) imaging provides great potential for diagnosing and analyzing brain gliomas. In clinical scenarios, common MR sequences such as T1, T2 and FLAIR can be obtained simultaneously in a single scanning process. However, acquiring contrast enhanced modalities such as T1ce requires additional time, cost, and injection of contrast agent. As such, it is clinically meaningful to develop a method to synthesize unavailable modalities which can also be used as additional inputs to downstream tasks (e.g., brain tumor segmentation) for performance enhancing. In this work, we propose an end-to-end framework named Modality-Level Attention Fusion Network (MAF-Net), wherein we innovatively conduct patchwise contrastive learning for extracting multi-modal latent features and dynamically assigning attention weights to fuse different modalities. Through extensive experiments on BraTS2020, our proposed MAF-Net is found to yield superior T1ce synthesis performance (SSIM of 0.8879 and PSNR of 22.78) and accurate brain tumor segmentation (mean Dice scores of 67.9%, 41.8% and 88.0% on segmenting the tumor core, enhancing tumor and whole tumor).

研究动机与目标

• 为解决临床诊断中因需使用对比剂和额外扫描时间而导致的 T1ce MRI 扫描缺失问题。
• 通过从可用的 T1、T2 和 FLAIR 序列中合成高质量 T1ce 图像，提升脑肿瘤分割性能。
• 开发一个统一框架，联合优化模态合成与肿瘤分割任务，利用两者之间的相互益处。
• 实现在未配对数据上的训练，提升在真实临床环境中配对 T1ce 扫描稀少情况下的实际可行性。

提出的方法

• 提出一种基于图像块的对比学习策略，从 T1、T2 和 FLAIR 图像中提取鲁棒的多模态潜在特征，用于 T1ce 图像合成。
• 引入一种模态级注意力融合模块，根据各 MRI 模态与目标任务的相关性，动态分配注意力权重。
• 采用双头解码器同时生成 T1ce 图像和分割掩码，实现端到端的联合优化。
• 在图像块级别使用自监督对比损失，增强特征表示学习，而无需依赖配对的 T1ce 数据。
• 应用基于 GAN 的判别器，提升合成 T1ce 图像的真实性，确保高感知质量。
• 使用未配对的训练数据端到端训练整个网络，避免对配对 T1ce 扫描的依赖。

实验结果

研究问题

• RQ1 基于图像块的对比学习是否能有效提取多模态特征，从而从 T1、T2 和 FLAIR 序列中合成缺失的 T1ce MRI 扫描？
• RQ2 与固定或通道级融合相比，模态级注意力融合是否能提升合成 T1ce 图像的质量和分割性能？
• RQ3 即使在未配对数据上训练，T1ce 合成与肿瘤分割任务的联合优化是否仍能在两个任务中带来性能提升？
• RQ4 与当前最先进的基于 GAN 的图像翻译模型相比，所提框架在 T1ce 合成保真度和下游分割精度方面表现如何？

主要发现

• MAF-Net 在 BraTS2020 上实现 T1ce 合成 SSIM 为 0.8879，PSNR 为 22.78，优于 CycleGAN（SSIM：0.8574，PSNR：21.62）及其他 SOTA 方法。
• 模型在肿瘤核心（TC）分割中取得 67.9% 的平均 Dice 分数，增强肿瘤（ET）为 41.8%，全肿瘤（WT）为 88.0%。
• 即使在训练阶段未使用配对 T1ce 数据，MAF-Net 仍优于多个使用配对数据训练的模型，尤其在增强肿瘤和肿瘤核心分割方面表现更优。
• 可视化结果表明，MAF-Net 生成的 T1ce 图像具有更准确的肿瘤定位和更清晰的边界，直接提升了分割性能。
• 模态级注意力融合机制能有效突出各 MRI 模态中的相关特征，提升特征表示能力与分割鲁棒性。
• 合成与分割任务的联合训练带来了相互的性能增益，验证了在该场景下图像生成与分割任务具有相互促进作用的假设。