[论文解读] A Block Coordinate Descent Proximal Method for Simultaneous Filtering and Parameter Estimation

Ramin Raziperchikolaei, Harish S. Bhat|arXiv (Cornell University)|Oct 16, 2018

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种块坐标下降邻近（BCD-prox）算法，用于在非线性常微分方程（ODE）模型中同时进行滤波与参数估计，直接最小化一个统一的目标函数，以确保ODE的一致性。该方法在噪声、初始化和超参数方面表现出更优的鲁棒性，收敛速度更快，且在高达40维的ODE系统中，其精度优于当前最先进方法。

ABSTRACT

We propose and analyze a block coordinate descent proximal algorithm (BCD-prox) for simultaneous filtering and parameter estimation of ODE models. As we show on ODE systems with up to d=40 dimensions, as compared to state-of-the-art methods, BCD-prox exhibits increased robustness (to noise, parameter initialization, and hyperparameters), decreased training times, and improved accuracy of both filtered states and estimated parameters. We show how BCD-prox can be used with multistep numerical discretizations, and we establish convergence of BCD-prox under hypotheses that include real systems of interest.

研究动机与目标

• 解决从噪声高维数据中估计非线性ODE状态与参数的挑战。
• 克服现有方法（如基于样条、贝叶斯和卡尔曼滤波方法）在高噪声或初始化不佳时性能下降的局限性。
• 开发一种联合估计框架，避免通过平滑函数间接重构状态，实现在原始空间中直接学习干净状态。
• 在合理系统假设下确保收敛性，同时最小化对超参数的敏感性。
• 为生物和工程领域中具有噪声观测的真实ODE系统提供一种可扩展、高效且鲁棒的方法。

提出的方法

• 构建一个统一的目标函数，衡量估计的状态与参数满足ODE动力学的程度，直接关联状态与参数估计。
• 采用块坐标下降（BCD）方法，交替优化状态向量X与参数向量θ，提升收敛性与稳定性。
• 引入邻近方法对更新进行正则化，确保远离不良初始参数值时的缓慢、稳定进展。
• 以显式欧拉格式为基础，扩展至更高阶多步数值格式以提升精度。
• 以批量、无分布假设的方式求解优化问题，避免卡尔曼滤波中常见的高斯假设。
• 将超参数数量减少至一个（即步长），提升鲁棒性与使用便捷性。

实验结果

研究问题

• RQ1 联合优化ODE状态与参数的框架是否能比解耦或间接方法实现更高的鲁棒性与精度？
• RQ2 与最先进方法相比，BCD-prox在高噪声水平、初始化不佳及超参数变化下的表现如何？
• RQ3 当应用于高维ODE系统（高达d=40）时，BCD-prox在多大程度上能保持收敛性与精度？
• RQ4 在原始空间中直接优化状态（无需平滑）是否能带来更准确的滤波与参数估计？
• RQ5 与标准BCD或基于梯度的方法相比，邻近更新的集成如何改善收敛行为？

主要发现

• BCD-prox在噪声方面表现出更强鲁棒性，即使在高噪声方差（σ² = 1.5）下，FitzHugh-Nagumo、Rössler和Lorenz-96等模型的预测误差也显著降低。
• 该方法实现了更短的训练时间与更快的收敛速度，参数估计误差随迭代次数稳步下降，如动画与误差图所示。
• 在FitzHugh-Nagumo模型中，BCD-prox在不同噪声水平下，预测误差相比均场法与EKF方法降低了超过50%。
• 对于Rössler吸引子，即使在σ² = 1.5条件下，参数估计误差也在20次迭代内收敛至接近零，优于EKF与均场基线方法。
• BCD-prox在不同初始化与超参数设置下均保持稳定性能，而样条法或贝叶斯方法则需精细调参。
• 该方法在FitzHugh-Nagumo模型中准确估计了真实参数（θ₀=0.5, θ₁=0.2, θ₂=3），参数误差随迭代单调递减。