[论文解读] Bayesian estimation in differential equation models

Prithwish Bhaumik, Subhashis Ghosal|arXiv (Cornell University)|Mar 3, 2014

Control Systems and Identification参考文献 15被引用 5

一句话总结

本文提出了一种贝叶斯两步估计方法，用于在存在噪声的多维数据下对常微分方程（ODE）模型中的参数进行估计，采用B样条基函数对均值函数进行非参数估计。尽管回归函数的后验收敛速率低于 $ n^{-1/2} $，但参数 $ \bm{\theta} $ 的估计仍达到 $ n^{-1/2} $ 的速率，且建立了Bernstein-von Mises定理，证实了 $ \bm{\theta} $ 的后验分布具有渐近正态性。

ABSTRACT

Ordinary differential equations (ODEs) are used to model dynamic systems appearing in engineering, physics, biomedical sciences and many other fields. These equations contain unknown parameters, say $θ$ of physical significance which have to be estimated from the noisy data. Often there is no closed form analytic solution of the equations and hence we cannot use the usual non-linear least squares technique to estimate the unknown parameters. There is a two step approach to solve this problem, where the first step involves fitting the data nonparametrically. In the second step the parameter is estimated by minimizing the distance between the nonparametrically estimated derivative and the derivative suggested by the system of ODEs. The statistical aspects of this approach have been studied under the frequentist framework. We consider this two step estimation under the Bayesian framework. The response variable is allowed to be multidimensional and the true mean function of it is not assumed to be in the model. We induce a prior on the regression function using a random series based on the B-spline basis functions. We establish the Bernstein-von Mises theorem for the posterior distribution of the parameter of interest. Interestingly, even though the posterior distribution of the regression function based on splines converges at a rate slower than $n^{-1/2}$, the parameter vector $θ$ is nevertheless estimated at $n^{-1/2}$ rate.

研究动机与目标

• 开发一种在闭式解不可用时对ODE模型中的参数进行估计的贝叶斯框架。
• 解决当真实均值函数不位于模型空间中时，对ODE参数进行估计的挑战。
• 在贝叶斯非参数方法下，建立类似频率学派的渐近性质——特别是Bernstein-von Mises定理。
• 证明感兴趣的参数 $ \bm{\theta} $ 即使在非参数回归函数收敛更慢的情况下，也能达到最优的 $ n^{-1/2} $ 收敛速率。
• 提供一种计算高效的替代方法，避免传统非线性最小二乘法或依赖初始参数值的迭代方法。

提出的方法

• 将响应建模为满足一阶ODE系统 $ \frac{d\bm{f}_{\bm{\theta}}(t)}{dt} = \bm{F}(t, \bm{f}_{\bm{\theta}}(t), \bm{\theta}) $ 的多维函数 $ \bm{f}_{\bm{\theta}}(t) $。
• 通过阶数为 $ m $、具有 $ k_n $ 个节点的B样条基函数，基于随机级数展开在回归函数 $ \bm{f}_{\bm{\theta}} $ 上诱导先验。
• 在分层先验下通过后验计算估计B样条展开的系数，将误差方差 $ \sigma^2 $ 视为未知。
• 采用两步贝叶斯程序：首先通过B样条回归非参数地估计均值函数；其次通过最小化样条拟合的导数与ODE所建议导数之间的差异来估计 $ \bm{\theta} $。
• 应用Bernstein-von Mises定理，证明 $ \bm{\theta} $ 的后验分布渐近正态，且其均值收敛于真实参数值。
• 使用总变差距离量化 $ \bm{\theta} $ 的后验分布向以真实参数为中心的正态分布的收敛性。

实验结果

研究问题

• RQ1 当真实均值函数不在模型空间中时，贝叶斯非参数方法能否在ODE模型中实现参数 $ \bm{\theta} $ 的 $ n^{-1/2} $ 收敛速率？
• RQ2 尽管回归函数的估计速率较慢，$ \bm{\theta} $ 的后验分布是否仍满足Bernstein-von Mises定理？
• RQ3 使用具有随机级数先验的B样条基函数如何影响参数 $ \bm{\theta} $ 的后验集中度与渐近正态性？
• RQ4 两步贝叶斯程序是否能避免传统非线性最小二乘法和迭代ODE求解器对初始参数值的敏感性？
• RQ5 模型误设（即真实均值函数不在模型空间中）对 $ \bm{\theta} $ 后验分布的渐近行为有何影响？

主要发现

• 尽管回归函数的后验收敛速率较慢，$ \bm{\theta} $ 参数向量的后验分布仍实现了 $ n^{-1/2} $ 的收敛速率。
• Bernstein-von Mises定理对 $ \bm{\theta} $ 的后验分布成立，意味着后验分布渐近正态，且以真实参数值为中心。
• 由于均值函数的非参数估计较慢，$ \bm{\theta} $ 的后验集中度并未下降，表明两步贝叶斯方法具有鲁棒性。
• 该方法不要求真实均值函数位于模型空间中，因此可适用于更广泛的ODE模型类别。
• 模拟研究证实了理论结果，显示出良好的有限样本性能及对模型误设的鲁棒性。
• 该方法计算高效，避免了对迭代ODE求解或初始值依赖的需求，与传统非线性最小二乘法形成对比。