[论文解读] Bayesian Uncertainty Quantification for Differential Equations

Oksana Chkrebtii, David A. Campbell+2 more|arXiv (Cornell University)|Jun 10, 2013

Gaussian Processes and Bayesian Inference参考文献 60被引用 17

一句话总结

本文提出了一种全贝叶斯框架，用于量化解析上难以处理的微分方程解中的不确定性，通过将解估计视为统计推断问题。通过在希尔伯特空间中使用高斯测度对系统状态进行建模，并采用迭代采样，该方法在解空间上生成后验测度，从而实现对混沌、病态或非线性系统中数值、参数和预测不确定性的概率量化。

ABSTRACT

We develop a fully Bayesian inferential framework to quantify uncertainty in models defined by general systems of analytically intractable differential equations. This approach provides a statistical alternative to deterministic numerical integration for estimation of complex dynamic systems, and probabilistically characterises the solution uncertainty introduced when models are chaotic, ill-conditioned, or contain unmodelled functional uncertainty. Viewing solution estimation as an inference problem allows us to quantify numerical uncertainty using the tools of Bayesian function estimation, which may then be propagated through to uncertainty in the model parameters and subsequent predictions. We incorporate regularity assumptions by modelling system states in a Hilbert space with Gaussian measure, and through iterative model-based sampling we obtain a posterior measure on the space of possible solutions, rather than a single deterministic numerical solution that approximately satisfies model dynamics. We prove some useful properties of this probabilistic solution, propose efficient computational implementation, and demonstrate the methodology on a wide range of challenging forward and inverse problems. Finally, we incorporate the approach into a fully Bayesian framework for state and parameter inference from incomplete observations of the states. Our approach is successfully demonstrated on ordinary and partial differential equation models with chaotic dynamics, ill-conditioned mixed boundary value problems, and an example characterising parameter and state uncertainty in a biochemical signalling pathway which incorporates a nonlinear delay-feedback mechanism.

研究动机与目标

• 为复杂微分方程数值解中缺乏系统性不确定性量化的问题提供解决方案，特别是在模型具有混沌性、病态性或包含未建模函数不确定性时。
• 用统计推断方法替代确定性数值积分，将数值不确定性作为解过程的一部分进行量化。
• 以全贝叶斯方式将解的不确定性传播至参数推断和预测分布。
• 为包含复杂动力学的常微分方程和偏微分方程的正向与反向问题，开发一种计算上可行的方法。
• 在统一的概率框架内，整合来自不完整或噪声观测的状态与参数推断。

提出的方法

• 使用高斯过程先验在希尔伯特空间中对系统状态进行建模，以编码正则性假设和先验知识。
• 将解估计表述为贝叶斯推断问题，其中函数空间上的后验测度代表了带有量化不确定性的解。
• 使用迭代的、基于模型的采样方法（如马尔可夫链蒙特卡洛或变分推断）来近似解空间上的后验测度。
• 通过条件概率传播，将解后验中的不确定性传播至模型参数和预测。
• 通过在状态轨迹上定义似然函数，将观测数据纳入模型，从而实现状态与参数的联合推断。
• 将该框架应用于正向问题（预测动力学）和反向问题（从数据中推断参数），包括具有非线性延迟反馈的系统。

实验结果

研究问题

• RQ1 如何利用统计框架系统性地量化解析上难以处理的微分方程解中的数值不确定性？
• RQ2 对解估计采用贝叶斯方法是否能为混沌或病态系统中的不确定性提供一致的概率表征？
• RQ3 在全贝叶斯推断流程中，如何将解的不确定性传播至参数估计和预测分布？
• RQ4 哪些计算策略能够实现对微分方程模型中高维解空间后验的高效近似？
• RQ5 该框架能否有效处理复杂动力系统中状态与参数推断的不完整或噪声观测？

主要发现

• 所提出的贝叶斯框架成功地在解函数上生成了后验测度，用完整的不确定性概率表征替代了单一的确定性数值解。
• 该方法量化了由混沌动力学、病态性以及未建模函数形式引起的数值不确定性，而这些是确定性求解器无法捕捉的。
• 解中的不确定性被有效传播至模型参数和预测，从而在反向问题中实现了连贯的不确定性量化。
• 该方法在具有挑战性的问题上表现出有效性，包括混沌常微分方程、具有混合边界条件的病态偏微分方程，以及非线性延迟反馈系统。
• 该框架能够从不完整观测中联合推断状态与参数，为状态与参数不确定性量化提供统一的解决方案。