[论文解读] Integrating Expert ODEs into Neural ODEs: Pharmacology and Disease Progression

Zhaozhi Qian, William R. Zame+3 more|arXiv (Cornell University)|Jun 5, 2021

Model Reduction and Neural Networks参考文献 84被引用 18

一句话总结

该论文提出了一种新型框架——潜在混合模型（Latent Hybridisation Model, LHM），将专家设计的药理学常微分方程（ODE）与神经ODE相结合，用于建模治疗下的疾病进展。通过将特定领域的ODE与可学习的潜在变量结合，LHM在低数据场景下显著提升了样本效率和预测准确性，尤其在小样本条件下优于现有方法，在合成数据和真实世界重症监护病房（ICU）的新冠肺炎患者数据上均表现优异。

ABSTRACT

Modeling a system's temporal behaviour in reaction to external stimuli is a fundamental problem in many areas. Pure Machine Learning (ML) approaches often fail in the small sample regime and cannot provide actionable insights beyond predictions. A promising modification has been to incorporate expert domain knowledge into ML models. The application we consider is predicting the progression of disease under medications, where a plethora of domain knowledge is available from pharmacology. Pharmacological models describe the dynamics of carefully-chosen medically meaningful variables in terms of systems of Ordinary Differential Equations (ODEs). However, these models only describe a limited collection of variables, and these variables are often not observable in clinical environments. To close this gap, we propose the latent hybridisation model (LHM) that integrates a system of expert-designed ODEs with machine-learned Neural ODEs to fully describe the dynamics of the system and to link the expert and latent variables to observable quantities. We evaluated LHM on synthetic data as well as real-world intensive care data of COVID-19 patients. LHM consistently outperforms previous works, especially when few training samples are available such as at the beginning of the pandemic.

研究动机与目标

• 解决纯机器学习模型在小样本场景下的局限性及其在临床时间序列建模中缺乏可解释性的问题。
• 弥合药理学ODE模型中不可观测的、具有生物学意义的变量与真实世界中噪声大、采样不规则的患者临床测量值之间的鸿沟。
• 通过将特定领域的ODE嵌入神经ODE框架，提升疾病进展建模的样本效率和预测准确性。
• 为临床医生提供与已知药理学机制相关联的可解释潜在变量，同时保持高预测性能。

提出的方法

• LHM将专家设计的ODE系统（代表具有生物学意义的变量）与建模潜在动态的神经ODE相结合。
• 模型通过时间感知编码器学习未观测到的潜在变量（包括专家ODE状态）与可观测临床测量值之间的映射关系。
• 采用变分推理框架推断初始潜在状态的后验分布，从而实现在不规则采样数据上的端到端训练。
• 该方法采用混合架构，其中专家ODE控制部分动态，而神经ODE学习其余动态及测量映射。
• 该框架支持多种扩展，如引入静态协变量、信息性采样，以及通过贝叶斯滤波实现在线推理。
• 通过方程替换技术，对专家ODE中可能存在的模型误设进行修正，即用可学习的神经网络替代有缺陷的方程。

实验结果

研究问题

• RQ1 将专家药理学ODE集成到神经ODE中，是否能提升在小样本设置下的疾病进展建模预测性能？
• RQ2 如何在可微分、端到端的框架中，有效将专家模型中不可观测的、具有生物学意义的变量与临床可观测测量值关联起来？
• RQ3 与纯神经ODE相比，引入特定领域ODE在多大程度上提升了样本效率？
• RQ4 该混合模型是否能同时实现高预测准确性和临床可解释的潜在变量？

主要发现

• 在真实世界新冠肺炎患者ICU数据上，LHM在所有预测时延下均取得最低均方根误差（RMSE），6小时预测时RMSE为0.517（0.72），优于NODE（0.661）和GRU-ODE（0.549）。
• 在72小时预测时延下，LHM的RMSE为0.691，显著低于专家模型（0.993）和NODE（0.996），表明其在长时序预测中具有更优的泛化能力。
• 在合成数据上，LHM在样本效率方面表现出一致的改进，尤其在训练数据稀缺时更为显著，证实了专家ODE在数据匮乏场景下的优势。
• 该模型在所有测试时间点（6、12、24、72小时）均保持强劲性能，预测结果方差极小，显示出良好的鲁棒性。
• 即使专家模型存在潜在误设，LHM的性能依然稳定且优越，尤其在结合方程替换技术后表现更佳。