[论文解读] Hybrid deep neural networks for all-cause Mortality Prediction from LDCT Images

Pingkun Yan, Hengtao Guo+3 more|arXiv (Cornell University)|Oct 19, 2018

COVID-19 diagnosis using AI参考文献 8被引用 5

一句话总结

该论文提出 HyRiskNet，一种混合深度神经网络，结合低剂量 CT（LDCT）图像块与放射科医生评估的冠状动脉钙化（CAC）风险评分，用于预测肺癌患者的全因死亡率。通过整合学习到的深度特征与临床相关的影像标志物，HyRiskNet 实现了 0.75 的 AUC，显著优于仅使用图像或传统评分方法的模型。

ABSTRACT

Known for its high morbidity and mortality rates, lung cancer poses a significant threat to human health and well-being. However, the same population is also at high risk for other deadly diseases, such as cardiovascular disease. Since Low-Dose CT (LDCT) has been shown to significantly improve the lung cancer diagnosis accuracy, it will be very useful for clinical practice to predict the all-cause mortality for lung cancer patients to take corresponding actions. In this paper, we propose a deep learning based method, which takes both chest LDCT image patches and coronary artery calcification risk scores as input, for direct prediction of mortality risk of lung cancer subjects. The proposed method is called Hybrid Risk Network (HyRiskNet) for mortality risk prediction, which is an end-to-end framework utilizing hybrid imaging features, instead of completely relying on automatic feature extraction. Our work demonstrates the feasibility of using deep learning techniques for all-cause lung cancer mortality prediction from chest LDCT images. The experimental results show that the proposed HyRiskNet can achieve superior performance compared with the neural networks with only image input and with other traditional semi-automatic scoring methods. The study also indicates that radiologist defined features can well complement convolutional neural networks for more comprehensive feature extraction.

研究动机与目标

• 开发一种深度学习框架，利用 LDCT 扫描预测肺癌患者的全因死亡率。
• 将放射科医生定义的 CAC 风险评分与卷积神经网络（CNN）提取的特征相结合，以增强预测能力。
• 评估混合建模方法是否在死亡率风险评估中优于仅使用图像或仅使用评分的方法。
• 研究网络深度与输入模态对预测性能的影响。

提出的方法

• 所提出的 HyRiskNet 使用深度残差神经网络（ResNet）架构，从 LDCT 图像块中提取高层影像特征。
• 放射科医生评估的 CAC 评分被用作附加输入特征，以补充 CNN 提取的表征。
• 模型通过图像块与 CAC 风险评分的混合输入进行端到端训练，直接预测死亡率风险。
• 评估了多种 ResNet 变体（18、34、50、101、152 层），以确定最佳深度性能。
• 采用十折交叉验证评估模型鲁棒性，AUC 为主要评估指标。
• 与传统方法（包括 Agatston 评分、体积评分及放射科医生视觉评估）进行性能对比。

实验结果

研究问题

• RQ1 结合 CNN 提取特征与放射科医生定义的 CAC 评分的混合深度学习模型，能否提升肺癌患者全因死亡率的预测性能？
• RQ2 在基于 CNN 的死亡率预测模型中，引入 CAC 评分如何影响模型性能？
• RQ3 该混合模型的性能是否随网络深度不同而变化？
• RQ4 与传统半自动及手动评分方法相比，该模型的性能如何？

主要发现

• HyRiskNet-34 达到最高 AUC 0.75，显著优于 RiskNet-34（AUC 0.70）和放射科医生视觉评估（AUC 0.64）。
• 在所有 ResNet 深度下，加入 CAC 评分均提升了预测性能，且 HyRiskNet 在相同深度下始终优于相同深度的 RiskNet。
• 34 层 ResNet 在所有测试深度中表现最佳，表明该深度在表示能力与数据集规模下的泛化能力之间达到最佳平衡。
• 放射科医生评估的 CAC 评分使模型性能更优（AUC 0.75），优于 Agatston 评分（AUC 0.71），表明人类判断可捕捉自动化量化无法体现的临床相关特征。
• 与放射科医生视觉评估相比，混合模型性能提升 17.2%；与仅使用图像的 CNN（RiskNet）相比，性能提升 7.1%，证明结合专家知识与深度学习具有显著价值。
• 传统半自动评分方法（Agatston 评分、体积评分及体积平方根评分）的 AUC 值为 0.61–0.62，表明其预测能力仅中等。