[论文解读] A Large-scale Multimodal Study for Predicting Mortality Risk Using Minimal and Low Parameter Models and Separable Risk Assessment

Alvaro Ulloa, Marios S. Pattichis+6 more|arXiv (Cornell University)|Jan 23, 2019

Machine Learning in Healthcare参考文献 32被引用 7

一句话总结

本文提出了一种新颖的可解释神经网络模型，利用多模态电子健康记录（EHR）数据（包括临床数据、超声心动图衍生指标（EDM）和原始超声心动图视频帧）预测1年死亡率风险。通过实现可分离的非线性建模并具备特征层面的可解释性，该模型在各模态上的AUC达到0.82，与XGBoost和随机森林等非可解释模型性能相当，同时揭示了个体因素与死亡率风险之间的临床有意义的非线性关系。

ABSTRACT

The majority of biomedical studies use limited datasets that may not generalize over large heterogeneous datasets that have been collected over several decades. The current paper develops and validates several multimodal models that can predict 1-year mortality based on a massive clinical dataset. Our focus on predicting 1-year mortality can provide a sense of urgency to the patients. Using the largest dataset of its kind, the paper considers the development and validation of multimodal models based on 25,137,015 videos associated with 699,822 echocardiography studies from 316,125 patients, and 2,922,990 8-lead electrocardiogram (ECG) traces from 631,353 patients. Our models allow us to assess the contribution of individual factors and modalities to the overall risk. Our approach allows us to develop extremely low-parameter models that use optimized feature selection based on feature importance. Based on available clinical information, we construct a family of models that are made available in the DISIML package. Overall, performance ranges from an AUC of 0.72 with just ten parameters to an AUC of 0.89 with under 105k for the full multimodal model. The proposed approach represents a modular neural network framework that can provide insights into global risk trends and guide therapies for reducing mortality risk.

研究动机与目标

• 开发一种基于多模态EHR数据（包括临床数据、超声心动图衍生指标（EDM）和原始视频帧）的可解释机器学习模型，用于预测1年死亡率风险。
• 克服传统线性模型和非可解释深度学习的局限性，通过可视化每个独立因素在其他因素保持不变时对整体风险的贡献，实现可解释性。
• 证明可解释建模可在保持高预测性能（AUC ≈ 0.82）的同时，揭示患者特征与死亡率风险之间的临床相关非线性关系。
• 通过提供透明的、基于特征层面的风险预测解释，满足临床和监管领域对模型可解释性的需求，特别是在GDPR框架下。
• 将可解释建模从表格数据扩展至复杂且异质的EHR模态（如医学影像和视频），这些模态此前缺乏此类可解释性。

提出的方法

• 该模型采用可分离的非线性框架，独立分解各模态（临床数据、EDM、原始视频）及各特征的贡献，实现特征层面的可解释性。
• 应用非负性约束以解决可解释性模糊问题，并提升特征贡献映射的清晰度。
• 模型利用深度学习从超声心动图视频中提取特征（例如通过卷积层），并将这些特征与表格形式的EHR特征整合到统一的、可解释的架构中。
• 通过非线性可加结构，可视化每个输入因素对预测风险的边际效应，同时保持所有其他输入不变，从而实现可解释性。
• 该方法结合基于梯度和基于激活的可视化技术，映射单个特征（如射血分数、容积）变化对预测死亡率几率的影响。
• 通过AUC评估性能，涵盖多个模型变体：仅临床数据（CD）、CD+EDM，以及CD+EDM+原始视频，并与XGBoost和随机森林进行比较。

实验结果

研究问题

• RQ1 多模态可解释神经网络模型能否实现与XGBoost和随机森林等非可解释模型相当的1年死亡率风险预测性能？
• RQ2 该模型能否可视化每个临床和影像衍生因素对整体死亡率风险的独立贡献，假设其他因素保持不变？
• RQ3 包含原始超声心动图视频数据是否能显著提升预测性能，超越仅使用临床数据和衍生指标？
• RQ4 该框架能否准确捕捉并可解释关键临床特征（如射血分数、收缩末期容积）与死亡率风险之间的非线性关系？
• RQ5 该模型能否通过揭示临床合理的趋势（如射血分数极低或极高时风险均增加）来支持临床决策？

主要发现

• 可解释的多模态模型在所有模态（CD+EDM+视频）上的平均AUC达到0.82，与XGBoost和随机森林等非可解释模型性能相当。
• 模型从仅使用临床数据（AUC = 0.78）提升至CD+EDM（AUC = 0.82）时，AUC显著提高，表明衍生的超声心动图指标可提升预测能力。
• 在CD+EDM与CD+EDM+原始视频模型之间未发现显著的AUC差异，表明在此设置下，原始视频数据未能显著提升性能。
• 模型成功可视化了非线性且临床合理的趋势：例如，射血分数呈现U型风险曲线，峰值风险出现在EF ≤10%和EF ≥85%时；左心室收缩末期容积越高，风险单调上升。
• 模型揭示，高射血分数（≥85%）与56%的额外风险相关，这可能反映高动力状态或如二尖瓣反流、向心性肥厚等病理状态。
• 该模型实现了以往非线性模型无法实现的特征层面可解释性，使临床医生能够理解在其他因素保持不变时，每个因素对风险的边际影响。