[论文解读] M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients

Tao Zhou, Huazhu Fu+5 more|arXiv (Cornell University)|Jun 1, 2020

Brain Tumor Detection and Classification参考文献 34被引用 16

一句话总结

该论文提出M²Net，一种用于基于多参数MRI扫描预测脑肿瘤患者总生存期（OS）时间的端到端多模态多通道深度学习框架。通过利用模态特定网络保留独特的影像特征，并结合基于双线性池化的多模态共享网络以捕捉跨模态相关性，M²Net在BraTS 2018数据集上优于现有方法，c-index达到0.664 ± 0.061。

ABSTRACT

Early and accurate prediction of overall survival (OS) time can help to obtain better treatment planning for brain tumor patients. Although many OS time prediction methods have been developed and obtain promising results, there are still several issues. First, conventional prediction methods rely on radiomic features at the local lesion area of a magnetic resonance (MR) volume, which may not represent the full image or model complex tumor patterns. Second, different types of scanners (i.e., multi-modal data) are sensitive to different brain regions, which makes it challenging to effectively exploit the complementary information across multiple modalities and also preserve the modality-specific properties. Third, existing methods focus on prediction models, ignoring complex data-to-label relationships. To address the above issues, we propose an end-to-end OS time prediction model; namely, Multi-modal Multi-channel Network (M2Net). Specifically, we first project the 3D MR volume onto 2D images in different directions, which reduces computational costs, while preserving important information and enabling pre-trained models to be transferred from other tasks. Then, we use a modality-specific network to extract implicit and high-level features from different MR scans. A multi-modal shared network is built to fuse these features using a bilinear pooling model, exploiting their correlations to provide complementary information. Finally, we integrate the outputs from each modality-specific network and the multi-modal shared network to generate the final prediction result. Experimental results demonstrate the superiority of our M2Net model over other methods.

研究动机与目标

• 解决传统OS预测方法依赖局部放射组学特征且无法有效建模复杂肿瘤模式的局限性。
• 克服在保留模态特异性特征的同时有效融合多模态MRI数据（T1、T1ce、T2、FLAIR）的挑战。
• 将特征学习与生存预测整合到统一的端到端框架中，以提升模型泛化能力并挖掘数据到标签的关系。
• 通过新颖的多阶段融合策略，同时建模模态间相关性与模态内特异性，以提升预测性能。

提出的方法

• 将3D MRI图像投影到多个视角的2D图像，以降低计算成本并支持从预训练模型进行迁移学习。
• 采用模态特定的卷积网络，从每种MRI序列（T1、T1ce、T2、FLAIR）中提取高层、模态特定的特征。
• 利用基于双线性池化的多模态共享网络，建模不同MRI模态之间特征的复杂相关性。
• 应用自适应融合层，学习最优权重以组合模态特定网络和共享多模态网络的输出。
• 端到端训练整个网络，使标签信息能够指导特征学习，从而提升表示质量。
• 使用BraTS 2018数据集进行训练与评估，将生存时间预测建模为回归任务，采用c-index及其他指标进行评估。

实验结果

研究问题

• RQ1 是否能够通过联合学习特征与预测生存结果的端到端深度学习框架，超越传统两阶段方法，提升OS时间预测性能？
• RQ2 模态特定特征学习与跨模态相关性建模的联合应用，在多模态MRI基生存预测中能多大程度上提升预测性能？
• RQ3 在生存预测任务中，基于双线性池化的多模态特征融合方法与简单拼接或早期融合相比，表现如何？
• RQ4 所提出的多阶段融合策略（结合模态特定与共享表征）是否能在小样本医学数据集上带来更好的泛化能力与鲁棒性？
• RQ5 通过联合优化特征学习与预测，该模型是否能有效应对生存时间中的高类内方差，尤其是长期生存群体？

主要发现

• M²Net在BraTS 2018数据集上达到c-index为0.664 ± 0.061，显著优于基线方法，如3D CNN融合（c-index：0.587 ± 0.093）和TPCNN（c-index：0.636 ± 0.000）。
• 与模态特定网络（c-index：0.621 ± 0.069）和多模态共享网络（c-index：0.611 ± 0.071）相比，该模型表现出更优性能，证实了联合学习与融合的优势。
• 多模态融合持续提升性能：融合T1ce与T1的性能优于单模态预测，进一步加入FLAIR可进一步增强性能。
• 消融实验表明，模态特定学习与共享多模态建模均不可或缺，移除任一组件均导致性能下降。
• 模型实现精确率0.574 ± 0.141、召回率0.613 ± 0.075和F1-score 0.589 ± 0.102，表明各项指标间表现均衡。
• 尽管性能有所提升，但受限于数据集规模小、生存时间类内方差高以及类别边界模糊，性能仍有提升空间，建议通过整合临床数据或数据增强进一步优化。