[论文解读] Survival prediction using ensemble tumor segmentation and transfer learning

Mariano Cabezas, Sergi Valverde+7 more|arXiv (Cornell University)|Oct 4, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 6被引用 10

一句话总结

该论文提出了一种级联深度学习框架，结合集成肿瘤分割与迁移学习，从术前MRI扫描预测胶质母细胞瘤患者生存期。首先使用3D U-Net进行肿瘤区域勾画，随后通过四个CNN架构的集成模型对亚区域分割进行优化（增强肿瘤、坏死核心、非增强肿瘤），再将这些结果与临床数据及微调后的VGG-16提取的特征融合，以预测生存期。该方法在分割任务中表现良好（平均DSC为0.78，全肿瘤DSC），但生存预测准确率仍较低（验证集上为0.321），表明在特征工程和模型泛化方面仍有改进空间。

ABSTRACT

Segmenting tumors and their subregions is a challenging task as demonstrated by the annual BraTS challenge. Moreover, predicting the survival of the patient using mainly imaging features, while being a desirable outcome to evaluate the treatment of the patient, it is also a difficult task. In this paper, we present a cascaded pipeline to segment the tumor and its subregions and then we use these results and other clinical features together with image features coming from a pretrained VGG-16 network to predict the survival of the patient. Preliminary results with the training and validation dataset show a promising start in terms of segmentation, while the prediction values could be improved with further testing on the feature extraction part of the network.

研究动机与目标

• 利用多模态MRI和临床数据提升胶质母细胞瘤患者生存预测的准确性。
• 解决在多模态MRI扫描中对异质性胶质母细胞瘤亚区域（增强肿瘤、坏死核心、非增强肿瘤）进行分割的挑战。
• 开发一种级联深度学习流程，结合3D U-Net与集成CNN，以提升肿瘤亚区域分割性能。
• 将预训练VGG-16提取的放射组学特征与临床数据融合，以增强生存预测能力。
• 在BraTS 2018训练集和验证集上评估所提方法的性能。

提出的方法

• 使用带有残差连接和每层32个滤波器的3D U-Net进行初始肿瘤感兴趣区域（ROI）分割，模型在21×21×21的补丁上进行训练，并在完整图像上进行测试。
• 对四个不同CNN架构（UCNN、UNET、CNN和FCNN）组成的集成模型进行训练，以优化肿瘤亚区域分割，输入共享，最终通过融合全连接层输出。
• 集成模型采用早停策略和批量归一化，先独立训练各子网络，再在冻结主干网络的前提下微调融合层。
• 从每例患者的FLAIR、T1和T1增强序列中，每例提取20张肿瘤切片，提取预训练VGG-16的特征，以获得图像级表征。
• 将临床特征（如年龄、性别）和亚区域体积进行归一化处理，并与VGG-16特征拼接，形成最终的特征向量用于生存预测。
• 使用全连接网络在组合特征向量上进行训练，以预测患者总生存期，性能通过准确率、Spearman等级相关系数和标准误进行评估。

实验结果

研究问题

• RQ1 结合3D U-Net与集成CNN的级联深度学习流程，能否提升多模态MRI中异质性胶质母细胞瘤亚区域的分割性能？
• RQ2 使用预训练VGG-16网络进行迁移学习，从MRI扫描中提取相关图像特征，对支持生存预测的有效性如何？
• RQ3 与仅使用体积或单一模型的方法相比，临床与放射组学特征的联合使用能在多大程度上提升生存预测准确率？
• RQ4 尽管采用了迁移学习与集成分割方法，为何生存预测性能仍较低？
• RQ5 数据稀缺与特征归一化如何影响医学影像中生存预测模型的泛化能力？

主要发现

• 在训练数据集上，集成分割方法对全肿瘤（WT）的平均DSC为0.78，对肿瘤核心（TC）为0.72，对增强肿瘤（ET）为0.68。
• 在验证数据集上，平均DSC为0.75（WT）、0.69（TC）和0.65（ET），其中增强肿瘤区域表现出最大变异性和最低性能。
• 生存预测模型在训练集上的准确率为0.373，在验证集上为0.321，均低于0.5，表明预测性能较差。
• 预测值与实际生存期之间的Spearman等级相关系数在训练集为-0.05，在验证集为-0.011，表明预测结果之间缺乏有意义的单调关系。
• 预测的标准误较高（训练集为181,387.051，验证集为199,081.864），表明预测不确定性较大。
• 异常病例（如Brats18_CBICA_AOH_1）的ET和TC区域DSC值为0，凸显了增强肿瘤区域分割的持续挑战。