[论文解读] A Variational Formulation of Optimal Nonlinear Estimation

Gregory L. Eyink|ArXiv.org|Nov 21, 2000

Gaussian Processes and Bayesian Inference参考文献 24被引用 10

一句话总结

本文提出了一种随机动力系统中最优非线性估计的变分公式，利用有效作用量泛函确定预测、滤波和光滑处理中最可能的状态轨迹。该方法通过一种全局收敛的迭代算法，求解前向扰动Fokker-Planck方程与后向伴随方程，推广了线性系统的'sweep方法'，在保持最优估计器结构特性的同时，实现了有限维矩闭合近似。

ABSTRACT

We propose a variational method to solve all three estimation problems for nonlinear stochastic dynamical systems: prediction, filtering, and smoothing. Our new approach is based upon a proper choice of cost function, termed the {\it effective action}. We show that this functional of time-histories is the unique statistically well-founded cost function to determine most probable histories within empirical ensembles. The ensemble dispersion about the sample mean history can also be obtained from the Hessian of the cost function. We show that the effective action can be calculated by a variational prescription, which generalizes the ``sweep method'' used in optimal linear estimation. An iterative numerical scheme results which converges globally to the variational estimator. This scheme involves integrating forward in time a ``perturbed'' Fokker-Planck equation, very closely related to the Kushner-Stratonovich equation for optimal filtering, and an adjoint equation backward in time, similarly related to the Pardoux-Kushner equation for optimal smoothing. The variational estimator enjoys a somewhat weaker property, which we call ``mean optimality''. However, the variational scheme has the principal advantage---crucial for practical applications---that it admits a wide variety of finite-dimensional moment-closure approximations. The moment approximations are derived reductively from the Euler-Lagrange variational formulation and preserve the good structural properties of the optimal estimator.

研究动机与目标

• 开发一个统一的变分框架，以解决三个经典的非线性估计问题：预测、滤波与光滑处理。
• 识别一个统计上合理且具有良好基础的代价函数——称为有效作用量——以确定经验集合中最可能的时间轨迹。
• 通过保持最优估计器结构完整性的有限维矩闭合近似，实现实际计算。
• 通过变分公式将线性'sweep方法'推广至非线性系统。

提出的方法

• 有效作用量被定义为时间轨迹的泛函，源自变分原理，用于识别最可能的状态轨迹。
• 该方法采用一种迭代数值算法，前向积分扰动Fokker-Planck方程，同时反向求解伴随方程，类似于Kushner-Stratonovich方程与Pardoux-Kushner方程。
• 有效作用量的Hessian矩阵提供了关于最可能轨迹的集合离散度，从而实现不确定性量化。
• 矩闭合近似通过变分公式的Euler-Lagrange方程递推导出，确保与最优估计器的结构一致性。
• 该算法实现了“均值最优性”这一较弱但实用的性质，确保在特定条件下收敛至条件均值。
• 通过将估计问题变分公式化，该方法将线性sweep方法推广至非线性系统。

实验结果

研究问题

• RQ1 能否构建一个统一的变分公式，以统一处理非线性随机系统中的最优预测、滤波与光滑处理？
• RQ2 在经验集合中，是否存在唯一一个统计上合理且具有良好基础的代价函数，用于识别最可能的状态轨迹？
• RQ3 如何高效且全局收敛地计算非线性系统中的有效作用量？
• RQ4 能否从变分公式中导出有限维矩闭合近似，同时保持最优估计器的结构特性？
• RQ5 该变分估计器与条件均值之间存在何种关系？与现有最优滤波器相比有何异同？

主要发现

• 有效作用量是唯一一个统计上合理且具有良好基础的代价函数，用于确定非线性随机过程经验集合中最可能的时间轨迹。
• 有效作用量的Hessian矩阵可提供关于最可能轨迹的集合离散度，从而实现不确定性量化。
• 基于变分公式的迭代数值算法能全局收敛至变分估计器，其前向积分扰动Fokker-Planck方程，反向求解伴随方程。
• 该方法可导出一大类从Euler-Lagrange方程递推得出的有限维矩闭合近似，保持最优估计器的结构特性。
• 变分估计器满足“均值最优性”，这是一种较弱但实用的性质，确保在适当条件下与条件均值一致。
• 该方法将线性'sweep方法'推广至非线性系统，为最优非线性估计提供了一个系统化的框架。