[论文解读] SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks

Patrick Ferdinand Christ, Florian Ettlinger+8 more|arXiv (Cornell University)|Feb 20, 2017

Radiomics and Machine Learning in Medical Imaging参考文献 8被引用 10

一句话总结

该论文提出SurvivalNet，一种级联深度学习框架，首先使用级联全卷积网络（CFCN）在扩散加权磁共振成像（DW-MRI）中分割肝细胞癌（HCC）肿瘤，然后利用3D卷积神经网络（SurvivalNet）预测患者生存情况（高风险与低风险）。该方法在人工分割上的准确率为68%，在自动分割上的准确率为65%，优于手工设计的特征（如Haralick和直方图特征）。

ABSTRACT

Automatic non-invasive assessment of hepatocellular carcinoma (HCC) malignancy has the potential to substantially enhance tumor treatment strategies for HCC patients. In this work we present a novel framework to automatically characterize the malignancy of HCC lesions from DWI images. We predict HCC malignancy in two steps: As a first step we automatically segment HCC tumor lesions using cascaded fully convolutional neural networks (CFCN). A 3D neural network (SurvivalNet) then predicts the HCC lesions' malignancy from the HCC tumor segmentation. We formulate this task as a classification problem with classes being "low risk" and "high risk" represented by longer or shorter survival times than the median survival. We evaluated our method on DWI of 31 HCC patients. Our proposed framework achieves an end-to-end accuracy of 65% with a Dice score for the automatic lesion segmentation of 69% and an accuracy of 68% for tumor malignancy classification based on expert annotations. We compared the SurvivalNet to classical handcrafted features such as Histogram and Haralick and show experimentally that SurvivalNet outperforms the handcrafted features in HCC malignancy classification. End-to-end assessment of tumor malignancy based on our proposed fully automatic framework corresponds to assessment based on expert annotations with high significance (p>0.95).

研究动机与目标

• 开发一种完全自动化的框架，仅基于扩散加权磁共振成像（DW-MRI）预测HCC患者生存情况，无需依赖人工肿瘤分割。
• 通过利用深度学习提升经典手工设计的放射组学特征（如Haralick、直方图）的性能，实现更精确的恶性程度分类。
• 验证使用级联全卷积网络（CFCN）进行自动肿瘤分割可获得与专家标注分割相当的生存预测性能。
• 证明基于3D卷积神经网络（SurvivalNet）的方法能够有效从DW-MRI数据的整个肿瘤体积中学习预后生物标志物。
• 建立一个具有临床相关性的端到端流程，实现非侵入性HCC恶性程度评估，且与专家标注高度一致（p > 0.95）。

提出的方法

• 训练级联全卷积网络（CFCN）以自动分割3D DW-MRI图像中的HCC肿瘤病灶，Dice分数达到69.7%。
• 将分割结果作为输入，输入至3D卷积神经网络（SurvivalNet），该网络根据生存时间与中位数的比较，将患者分类为‘高风险’（生存时间短）或‘低风险’（生存时间长）。
• SurvivalNet架构由两组3D卷积层（3×3×3卷积核，50个滤波器）组成，后接3D最大池化（2×2×2），再连接两个各含500个神经元的全连接层。
• 网络从零开始训练，使用Adadelta优化器，学习率为0.5，ρ = 0.95，ε = 1e-8，未使用数据增强。
• 性能通过准确率、精确率、召回率、F1分数以及分割的Dice系数进行评估。
• 采用配对Wilcoxon符号秩检验比较SurvivalNet在使用人工分割与自动分割时的后验类别概率（p > 0.953）。

实验结果

研究问题

• RQ1 当仅使用DW-MRI中的自动肿瘤分割时，级联深度学习框架能否实现与专家标注分割相当的生存预测准确率？
• RQ2 与经典手工设计的放射组学特征（如Haralick、直方图）相比，基于3D卷积神经网络（SurvivalNet）是否在将HCC患者分类为高风险与低风险生存组方面表现更优？
• RQ3 使用CFCN进行自动肿瘤分割在多大程度上影响3D CNN最终的生存预测性能？
• RQ4 使用自动分割肿瘤的SurvivalNet预测结果是否在统计上与使用人工分割肿瘤的结果无显著差异？
• RQ5 仅从DW-MRI数据端到端进行深度学习，能否可靠地预测HCC患者生存情况，且与专家评估相比具有高度显著性？

主要发现

• 当使用自动生成的肿瘤分割结果时，SurvivalNet在端到端任务中达到65%的准确率，肿瘤病灶分割的Dice分数为69.7%。
• 当输入为人工分割结果时，SurvivalNet在分类高风险与低风险患者方面达到68%的准确率、69%的精确率和68%的召回率。
• 基于3D CNN的SurvivalNet优于经典手工特征：Haralick特征和直方图特征的F1分数分别仅为61%和60%。
• 配对Wilcoxon符号秩检验证实，SurvivalNet使用自动分割结果的预测与使用人工分割结果的预测在统计上无显著差异（p > 0.953）。
• Kaplan-Meier分析显示，SurvivalNet成功将患者分层为高风险与低风险组，而手工特征未能实现此分层。
• 该方法在肿瘤检测方面表现出较高的敏感性（91.1%），但精确率较低（70.0%），表明在肝脏区域存在一些假阳性结果。