[论文解读] A deep neural network to enhance prediction of 1-year mortality using echocardiographic videos of the heart

Alvaro Ulloa, Linyuan Jing+14 more|arXiv (Cornell University)|Nov 26, 2018

Machine Learning in Healthcare参考文献 31被引用 4

一句话总结

本研究开发了一种深度神经网络，通过分析原始超声心动图视频来预测1年死亡率，AUC达到0.839，准确率超过心脏病专家。当与电子健康记录（EHR）数据结合时，模型的AUC提升至0.858，表明深度学习在利用医学影像和纵向数据增强临床预测方面具有巨大潜力。

ABSTRACT

Predicting future clinical events helps physicians guide appropriate intervention. Machine learning has tremendous promise to assist physicians with predictions based on the discovery of complex patterns from historical data, such as large, longitudinal electronic health records (EHR). This study is a first attempt to demonstrate such capabilities using raw echocardiographic videos of the heart. We show that a large dataset of 723,754 clinically-acquired echocardiographic videos (~45 million images) linked to longitudinal follow-up data in 27,028 patients can be used to train a deep neural network to predict 1-year mortality with good accuracy (area under the curve (AUC) in an independent test set = 0.839). Prediction accuracy was further improved by adding EHR data (AUC = 0.858). Finally, we demonstrate that the trained neural network was more accurate in mortality prediction than two expert cardiologists. These results highlight the potential of neural networks to add new power to clinical predictions.

研究动机与目标

• 开发一种基于原始超声心动图视频数据的深度学习模型，用于预测1年死亡率。
• 评估该模型在死亡率预测方面相对于心脏病专家的性能表现。
• 评估将电子健康记录（EHR）数据与超声心动图视频分析相结合的增量价值。
• 证明在大规模、临床获取的超声心动图视频数据集上训练深度神经网络的可行性。
• 探索深度学习从医学视频中提取复杂、预测性模式以支持临床决策的潜力。

提出的方法

• 在包含723,754例超声心动图视频的大规模数据集上训练模型，相当于约4500万张图像。
• 模型使用通过3D卷积神经网络（3D-CNN）架构提取的视频级特征，以捕捉心脏运动的时空模式。
• 模型在27,028名患者的队列中进行训练，该队列具有纵向随访数据，用于追踪1年死亡率结果。
• 通过在独立测试集上计算受试者工作特征曲线下面积（AUC）来评估模型性能。
• 通过早期融合EHR数据与视频特征，进一步提升模型的预测准确性。
• 应用超参数调优和正则化技术（包括dropout）以防止过拟合，且在修复TensorFlow v1.12中的dropout相关错误后验证了性能。

实验结果

研究问题

• RQ1 在大规模患者队列中，基于原始超声心动图视频训练的深度神经网络能否准确预测1年死亡率？
• RQ2 将电子健康记录（EHR）数据与视频模型结合是否能进一步提升其预测性能？
• RQ3 该深度学习模型在预测1年死亡率方面与心脏病专家相比表现如何？
• RQ4 深度学习模型能否检测出人类专家难以识别的超声心动图视频中细微而复杂的模式？
• RQ5 在大规模、真实世界临床获取的超声心动图视频数据集上训练时，该模型的可扩展性和鲁棒性如何？

主要发现

• 该深度神经网络在独立测试集中仅使用超声心动图视频预测1年死亡率的曲线下面积（AUC）达到0.839。
• 当与电子健康记录（EHR）数据结合后，模型的AUC提升至0.858，表明多模态数据融合带来了显著的性能提升。
• 该深度学习模型在预测1年死亡率方面优于两名心脏病专家，展现出更高的预测准确性。
• 在修复TensorFlow v1.12中的dropout相关错误后，模型性能依然稳健，证实了报告结果的可靠性。
• 学习曲线表明，随着训练数据量的增加，模型性能仍在持续提升，表明在更大数据集上仍有显著的性能增益潜力。
• 本研究证明，深度学习能够大规模提取来自原始超声心动图视频的临床相关、具有预测意义的模式。