[论文解读] Active Uncertainty Calibration in Bayesian ODE Solvers

Hans Kersting, Philipp Hennig|arXiv (Cornell University)|May 11, 2016

Gaussian Processes and Bayesian Inference参考文献 18被引用 19

一句话总结

本文提出贝叶斯求积滤波（BQF），一种新颖的随机常微分方程求解器，通过主动学习梯度不精确性，利用贝叶斯求积方法改进基于滤波方法的不确定性校准。通过使用确定性评估来优化梯度估计，BQF在计算开销极低的前提下，实现了优于采样方法的均值精度，同时在不确定性校准方面优于标准滤波方法。

ABSTRACT

There is resurging interest, in statistics and machine learning, in solvers for ordinary differential equations (ODEs) that return probability measures instead of point estimates. Recently, Conrad et al. introduced a sampling-based class of methods that are 'well-calibrated' in a specific sense. But the computational cost of these methods is significantly above that of classic methods. On the other hand, Schober et al. pointed out a precise connection between classic Runge-Kutta ODE solvers and Gaussian filters, which gives only a rough probabilistic calibration, but at negligible cost overhead. By formulating the solution of ODEs as approximate inference in linear Gaussian SDEs, we investigate a range of probabilistic ODE solvers, that bridge the trade-off between computational cost and probabilistic calibration, and identify the inaccurate gradient measurement as the crucial source of uncertainty. We propose the novel filtering-based method Bayesian Quadrature filtering (BQF) which uses Bayesian quadrature to actively learn the imprecision in the gradient measurement by collecting multiple gradient evaluations.

研究动机与目标

• 解决随机常微分方程求解器中计算成本与不确定性校准之间的权衡问题。
• 改进基于滤波的随机常微分方程求解器中不确定性估计的校准性，此类方法通常存在过度自信或适应性差的方差问题。
• 开发一种方法，在保持高阶收敛性和高精度均值估计的同时，实现有意义的不确定性量化。
• 弥合采样方法求解器（校准良好但计算昂贵）与滤波方法求解器（计算便宜但校准性差）之间的差距。
• 识别并主动校正不确定性主要来源：常微分方程积分中的梯度测量不精确性。

提出的方法

• 将常微分方程的解表述为线性高斯随机微分方程（SDE）中的近似推断，将解建模为高斯过程。
• 识别出梯度测量不准确是常微分方程求解器中认知不确定性的主要来源。
• 应用贝叶斯求积（BQ）方法，通过战略性地选择梯度评估点，主动学习向量场 f，以最小化梯度估计的不确定性。
• 将BQ集成到滤波框架中，用BQ估计的梯度替代标准梯度评估，以改善后验均值与方差的校准性。
• 在解上使用高斯过程先验，并在每一步利用BQ估计的梯度更新后验，保持极低的计算开销。
• 采用状态空间模型，其中状态为解 u(t)，观测模型基于BQ估计的 f(t, u(t))，并通过时间传播不确定性。

实验结果

研究问题

• RQ1 通过贝叶斯求积主动学习梯度评估，能否改善基于滤波的常微分方程求解器的不确定性校准？
• RQ2 BQF是否在保持低计算成本的同时，实现优于采样方法的均值精度？
• RQ3 BQF的不确定性校准性与标准滤波方法和采样方法的常微分方程求解器相比如何？
• RQ4 是否能通过确定性采样策略有效建模并减少不确定性主要来源——梯度测量不精确性？
• RQ5 仅使用少量梯度评估，能否实现高阶收敛性并获得校准良好的不确定性？

主要发现

• BQF在范德波尔振子上的均值估计优于最先进的采样方法，其误差低于最大似然（ML）和蒙特卡洛（MC）方法。
• 在较晚时间点（如 t = 54），当使用五个或更多梯度评估时，BQF显著降低了误差，优于ML基线，显示出改进的收敛性。
• BQF的不确定性估计校准性优于标准滤波方法，后者通常表现出随时间严格递增的不确定性。
• 与BQF和ML中单调增长的不确定性相比，采样方法（MC）表现出更具适应性的不确定性尺度——在陡峭区域增加，在平坦区域减少。
• 尽管校准性更优，MC方法由于每一步累积的高斯噪声，导致均值误差高于BQF。
• BQF实现了有利的权衡：在保持高均值精度（优于MC和ML）的同时，生成了比标准滤波方法更具适应性且更校准的不确定性度量。