[论文解读] Bayesian differential programming for robust systems identification under uncertainty

Yibo Yang, Mohamed Aziz Bhouri+1 more|arXiv (Cornell University)|Apr 15, 2020

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文提出了一种贝叶斯微分编程框架，通过将可微分常微分方程（ODE）求解器与哈密顿蒙特卡洛（HMC）相结合，实现了从噪声大、稀疏且非均匀采样数据中进行鲁棒的系统识别，支持可扩展的贝叶斯推断。该方法能高效推断模型参数的完整后验分布，实现不确定性量化的、可解释的且简洁的非线性动力系统发现。

ABSTRACT

This paper presents a machine learning framework for Bayesian systems identification from noisy, sparse and irregular observations of nonlinear dynamical systems. The proposed method takes advantage of recent developments in differentiable programming to propagate gradient information through ordinary differential equation solvers and perform Bayesian inference with respect to unknown model parameters using Hamiltonian Monte Carlo. This allows us to efficiently infer posterior distributions over plausible models with quantified uncertainty, while the use of sparsity-promoting priors enables the discovery of interpretable and parsimonious representations for the underlying latent dynamics. A series of numerical studies is presented to demonstrate the effectiveness of the proposed methods including nonlinear oscillators, predator-prey systems, chaotic dynamics and systems biology. Taken all together, our findings put forth a novel, flexible and robust workflow for data-driven model discovery under uncertainty.

研究动机与目标

• 解决现有基于数据驱动的系统识别方法中缺乏不确定性量化的问题，这些方法依赖于点估计。
• 实现从现实世界科学应用中常见的噪声大、稀疏且非均匀采样时间序列数据中进行鲁棒推断。
• 开发一种完全贝叶斯的工作流程，结合可微分编程与稀疏性促进先验，以发现可解释且简洁的动力学模型。
• 提供具有不确定性量化的可靠未来预测，提升复杂系统中控制与决策的模型可信度。
• 克服稀疏回归与非可微分推断方法在处理不完美数据和参数估计不稳定方面的局限性。

提出的方法

• 利用可微分编程通过数值ODE求解器反向传播梯度，实现在复杂动力系统中的基于梯度的推断。
• 采用结合ODE求解器梯度信息的哈密顿蒙特卡洛（HMC）方法，高效采样高维参数后验分布。
• 集成稀疏性促进先验（如拉普拉斯或 horseshoe 先验），以鼓励对潜在动力学的简洁且可解释的表示。
• 使用MAP预处理步骤以改善MCMC收敛性，尤其在高维或刚性系统且数据有限的情况下。
• 支持端到端可微训练，原生处理非均匀采样与缺失数据，无需数据插补。
• 将字典学习与机理先验相结合，灵活地从数据中发现控制方程，同时保持物理解释性。

实验结果

研究问题

• RQ1 可微分编程能否实现对具有噪声和非均匀观测的非线性动力系统的高效且可扩展的贝叶斯推断？
• RQ2 引入稀疏性促进先验在提升所发现动力学模型的可解释性与鲁棒性方面有何影响？
• RQ3 该框架在泛化到未见初始条件时，能在多大程度上提供可靠的不确定性估计并实现准确预测？
• RQ4 与最先进的方法（如稀疏非线性动力学识别，SINDy）相比，该方法在鲁棒性与不确定性量化方面表现如何？
• RQ5 该框架在不引起数值不稳定或收敛性差的前提下，能否处理刚性系统与极稀疏数据？

主要发现

• 该方法在稀疏且含噪声的数据下，成功推断出非线性振子、捕食者-猎物系统以及酵母糖酵解模型的完整参数后验分布。
• 酵母糖酵解模型的不确定性估计与真实参数值高度一致，所有参数的中位估计值均在真实值的1–5%以内。
• 所推断模型在未见初始条件上泛化良好，能生成具有不确定性量化的准确预测，外推测试中与参考解高度一致。
• 使用稀疏性促进先验可发现最小化、可解释的动力学模型，其项数少于基线方法，同时准确捕捉系统本质行为。
• 在噪声较大和数据较少的场景下，该框架在鲁棒性与稀疏性处理方面优于SINDy等最先进方法，尤其在高噪声与低数据条件下表现更优。
• MAP预处理步骤显著提升了MCMC收敛性，但高度稀疏场景下的刚性问题仍是挑战，需进一步稳定化处理。