[论文解读] A Probabilistic State Space Model for Joint Inference from Differential Equations and Data

Jonathan Schmidt, Nicholas Krämer+1 more|arXiv (Cornell University)|Mar 18, 2021

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文提出了一种概率状态空间模型，通过单次扩展卡尔曼滤波/平滑器前向传播，实现了对常微分方程（ODE）解和未知时变隐含作用力（如SIRD模型中的接触率）的联合贝叶斯推断。通过将概率ODE求解器与隐含作用力模型通过贝叶斯滤波相结合，该方法实现了线性计算复杂度，并准确捕捉了来自数据、数值误差和模型结构的不确定性，其有效性在真实COVID-19病例数据上得到验证。

ABSTRACT

Mechanistic models with differential equations are a key component of scientific applications of machine learning. Inference in such models is usually computationally demanding, because it involves repeatedly solving the differential equation. The main problem here is that the numerical solver is hard to combine with standard inference techniques. Recent work in probabilistic numerics has developed a new class of solvers for ordinary differential equations (ODEs) that phrase the solution process directly in terms of Bayesian filtering. We here show that this allows such methods to be combined very directly, with conceptual and numerical ease, with latent force models in the ODE itself. It then becomes possible to perform approximate Bayesian inference on the latent force as well as the ODE solution in a single, linear complexity pass of an extended Kalman filter / smoother - that is, at the cost of computing a single ODE solution. We demonstrate the expressiveness and performance of the algorithm by training, among others, a non-parametric SIRD model on data from the COVID-19 outbreak.

研究动机与目标

• 开发一种计算高效的联合推断方法，用于常微分方程（ODE）解及其控制ODE动态的隐含作用力。
• 克服标准推断流程（如MCMC或优化循环）中迭代求解ODE带来的高计算成本。
• 在单一贝叶斯滤波与平滑框架内，统一机理知识（通过ODE）与观测数据。
• 实现对数据、数值离散化误差以及隐含作用力中认知不确定性的量化。
• 在真实世界流行病学数据上展示该方法的表达能力与效率，包括外推与政策影响建模。

提出的方法

• 该方法将ODE解与隐含作用力建模为联合状态空间过程，其中隐含作用力被表示为具有非马氏先验的高斯过程。
• 采用以扩展卡尔曼滤波形式呈现的概率ODE求解器，将ODE积分视为贝叶斯滤波问题。
• 隐含作用力作为非参数函数嵌入ODE向量场中，其动态通过一组基函数与状态向量的状态空间表示进行建模。
• 观测被建模为对ODE状态的独立同分布高斯噪声测量，对SIRD模型中的计数应用对数变换以确保其正值。
• 通过单次扩展卡尔曼平滑器前向传播计算ODE解与隐含作用力的联合后验分布，避免了迭代前向模拟。
• 该方法利用了概率ODE求解器与隐含作用力推断可在单一贝叶斯滤波框架下统一的特性，从而实现线性时间推断。

实验结果

研究问题

• RQ1 能否在统一的贝叶斯推断框架下，无缝结合概率ODE求解器与非参数隐含作用力模型？
• RQ2 单次扩展卡尔曼滤波/平滑器前向传播是否能在线性计算成本下实现对ODE解与隐含作用力的准确联合推断？
• RQ3 该方法在低数据区域中，能否准确捕捉来自数据、数值误差以及隐含作用力中认知不确定性的不确定性？
• RQ4 该方法能否重建流行病模型中的时变接触率，并在政策变更下产生合理的外推结果？
• RQ5 与标准迭代推断方法（如MCMC或基于优化的方法）相比，该方法在准确性和效率方面表现如何？

主要发现

• 该方法实现了对ODE解与隐含作用力的联合推断，计算复杂度等价于求解ODE一次，与迭代方法相比显著降低了计算成本。
• 由于对病例计数进行了对数空间变换，接触率的后验可信区间始终保持严格为正，确保了物理一致性。
• 在病例计数较少的区域，推断出的接触率不确定性增加，反映了数据稀疏性；而在政府实施严格管控措施的时期，不确定性降低，表明置信度更高。
• 重建的动力学过程与观测数据点高度吻合，推断出的接触率均值与先前使用不同模型设置的实验结果高度一致。
• 外推结果比线性空间模型更合理，因为对数正态噪声模型可防止出现负病例数，并真实反映了现实数据中的固有不确定性。
• 该方法忠实地捕捉了多种不确定性来源：包括观测噪声、数值离散化误差以及隐含作用力中的认知不确定性，如在SIRD模型应用中所展示的那样。