[论文解读] Bayesian Filtering for ODEs with Bounded Derivatives

Emilia Magnani, Hans Kersting+2 more|arXiv (Cornell University)|Sep 25, 2017

Stochastic processes and financial applications参考文献 2被引用 5

一句话总结

本文提出了一种新颖的贝叶斯常微分方程求解器，采用积分Ornstein-Uhlenbeck过程（IOUP）先验来建模具有有界导数的解，相较于标准的积分Ornstein-Uhlenbeck过程（IWP）先验，提升了稳定性。IOUP先验在高阶导数中强制实现均值回归行为，从而在导数倾向于回归零的常微分方程中实现更准确且更保守的不确定性量化，实验验证了其在衰减系统与振荡系统中的有效性。

ABSTRACT

Recently there has been increasing interest in probabilistic solvers for ordinary differential equations (ODEs) that return full probability measures, instead of point estimates, over the solution and can incorporate uncertainty over the ODE at hand, e.g. if the vector field or the initial value is only approximately known or evaluable. The ODE filter proposed in recent work models the solution of the ODE by a Gauss-Markov process which serves as a prior in the sense of Bayesian statistics. While previous work employed a Wiener process prior on the (possibly multiple times) differentiated solution of the ODE and established equivalence of the corresponding solver with classical numerical methods, this paper raises the question whether other priors also yield practically useful solvers. To this end, we discuss a range of possible priors which enable fast filtering and propose a new prior--the Integrated Ornstein Uhlenbeck Process (IOUP)--that complements the existing Integrated Wiener process (IWP) filter by encoding the property that a derivative in time of the solution is bounded in the sense that it tends to drift back to zero. We provide experiments comparing IWP and IOUP filters which support the belief that IWP approximates better divergent ODE's solutions whereas IOUP is a better prior for trajectories with bounded derivatives.

研究动机与目标

• 解决现有概率性常微分方程求解器中使用非保守先验（如积分维纳过程，IWP）所面临的局限性，特别是在具有有界导数的系统中。
• 探究除IWP之外的其他随机过程是否能为常微分方程提供更准确、更鲁棒的概率性求解器。
• 提出一种新的先验——积分Ornstein-Uhlenbeck过程（IOUP），以编码导数倾向于漂移回零的物理直觉。
• 在多种常微分方程类型（包括衰减、振荡和刚性系统）上，通过实验比较基于IOUP的求解器与基于IWP的求解器的性能。
• 验证IOUP先验是否能提升在导数预期保持有界的系统中不确定性量化的准确性与解的保真度。

提出的方法

• 提出一种基于贝叶斯滤波的常微分方程求解框架，其中解被建模为高斯-马尔可夫过程，具体为q阶积分Ornstein-Uhlenbeck过程（IOUP），该过程将q阶导数建模为均值回归过程。
• 推导IOUP先验的滤波方程，利用其马尔可夫性质，实现对解后验分布的高效、顺序计算。
• 采用状态空间表示法，其中状态向量包含解及其至q阶的导数，其动力学由具有漂移和扩散系数的线性SDE控制，这些系数源自Ornstein-Uhlenbeck过程。
• 应用卡尔曼滤波器，通过向量场f的噪声观测递归更新后验分布，将f的评估视为噪声数据。
• 采用IOUP先验的连续时间形式，确保时间上不确定性传播的平滑性与一致性。
• 在具有已知解的基准常微分方程上，从解的准确性、方差和收敛行为三个方面，将基于IOUP的求解器与成熟的基于IWP的求解器进行比较。

实验结果

研究问题

• RQ1 除积分维纳过程（IWP）之外，其他随机过程能否作为概率性常微分方程求解器的有效先验？
• RQ2 IOUP先验是否通过在q阶导数中强制实现均值回归行为，相较于IWP先验，能带来更准确且更稳定的解近似？
• RQ3 在哪些类型的常微分方程中，IOUP先验优于IWP先验，特别是在导数预期保持有界的系统中？
• RQ4 在振荡系统中，IOUP求解器表现如何，其中导数的符号和大小会周期性变化？
• RQ5 相较于IWP先验，IOUP先验在刚性或衰减系统中能多大程度上改善不确定性量化？

主要发现

• 在具有有界导数的系统（如指数衰减和放射性衰变链）中，IOUP求解器由于其均值回归特性，显著减少了在真实解附近的振荡。
• 在负指数衰减问题中（图2b），IOUP求解器始终比IWP求解器更接近真实解，后者因缺乏均值回归而表现出更大的偏差。
• 对于Van der Pol振子（图3b），IOUP求解器优于IWP求解器，表明当系统动力学自然表现出有界导数行为时，导数的均值回归是有益的。
• 相反，在非振荡的正指数增长问题中（图2a），IWP求解器表现更优，表明IOUP先验可能对发散解而言过于严格。
• 在刚性系统（如问题3）中，IOUP求解器在真实解附近的后验方差更低，表明其在不确定性估计中具有更高的保守性与可靠性。
• IOUP先验在q阶导数预期趋向零的系统中尤为有效，如衰减过程，证实了其物理合理性与实际应用价值。