[论文解读] EM-like Learning Chaotic Dynamics from Noisy and Partial Observations

Duong Nguyen, Said Ouala+2 more|arXiv (Cornell University)|Mar 25, 2019

Neural Networks and Applications参考文献 31被引用 24

一句话总结

本文提出了一种类似期望最大化（EM）的学习框架，结合神经随机微分方程（neural ODEs）与数据同化方法，从噪声大、不完整且采样不规则的观测中推断混沌动力学。通过将隐藏状态与模型参数的联合推断视为贝叶斯问题，该方法在具有挑战性的条件下，相较于标准机器学习方法，更准确地恢复了真实动力学与李雅普诺夫指数，相关结果在Lorenz-63系统上得到验证。

ABSTRACT

The identification of the governing equations of chaotic dynamical systems from data has recently emerged as a hot topic. While the seminal work by Brunton et al. reported proof-of-concepts for idealized observation setting for fully-observed systems, {\em i.e.} large signal-to-noise ratios and high-frequency sampling of all system variables, we here address the learning of data-driven representations of chaotic dynamics for partially-observed systems, including significant noise patterns and possibly lower and irregular sampling setting. Instead of considering training losses based on short-term prediction error like state-of-the-art learning-based schemes, we adopt a Bayesian formulation and state this issue as a data assimilation problem with unknown model parameters. To solve for the joint inference of the hidden dynamics and of model parameters, we combine neural-network representations and state-of-the-art assimilation schemes. Using iterative Expectation-Maximization (EM)-like procedures, the key feature of the proposed inference schemes is the derivation of the posterior of the hidden dynamics. Using a neural-network-based Ordinary Differential Equation (ODE) representation of these dynamics, we investigate two strategies: their combination to Ensemble Kalman Smoothers and Long Short-Term Memory (LSTM)-based variational approximations of the posterior. Through numerical experiments on the Lorenz-63 system with different noise and time sampling settings, we demonstrate the ability of the proposed schemes to recover and reproduce the hidden chaotic dynamics, including their Lyapunov characteristic exponents, when classic machine learning approaches fail.

研究动机与目标

• 为解决从噪声大、不完整且采样不规则的观测中学习混沌动力系统的问题，标准机器学习方法在此类情况下失效。
• 开发一种贝叶斯推断框架，联合估计隐藏状态与未知的动力学模型参数。
• 通过引入状态空间建模与数据同化方法，克服深度学习中短期预测误差最小化策略的局限性。
• 在现实观测约束条件下，实现对混沌系统关键特性（如李雅普诺夫指数）的准确恢复。
• 统一现代深度学习（神经ODE）与经典数据同化方法（集合卡尔曼平滑器、变分推断），以提升鲁棒性。

提出的方法

• 将问题建模为具有未知动力学的贝叶斯状态空间模型，其中动力学由神经ODE控制，并通过掩码算子处理观测噪声与部分采样。
• 采用迭代的期望-最大化（EM）类过程，交替推断隐藏状态的后验分布与优化模型参数。
• 使用神经网络参数化ODE中的未知动力函数F：dx/dt = F(x) + η。
• 应用两种推断方案：(1) 结合神经ODE的集合卡尔曼平滑器（EnKS），以及(2) 基于LSTM的变分推断（VODEN）以近似后验分布。
• 实施状态空间平滑，以估计在部分且含噪声观测下隐藏状态的完整后验分布。
• 依赖迭代优化过程，其中E步计算隐藏状态的后验分布，M步通过梯度下降更新神经ODE参数。

实验结果

研究问题

• RQ1 在观测数据存在噪声且不完整的情况下，贝叶斯EM类框架是否能有效学习混沌动力学？
• RQ2 在部分观测与噪声观测条件下，所提出方法与最小化短期预测误差的标准深度学习方法相比表现如何？
• RQ3 该方法在有限且被污染的数据下，能在多大程度上恢复关键动力学特性（如李雅普诺夫指数）？
• RQ4 将神经ODE与数据同化方案结合，是否能提升对不规则采样与高噪声水平的鲁棒性？
• RQ5 与直接预测误差最小化相比，基于LSTM的变分推断（VODEN）或基于EnKS的平滑是否能提供更精确的后验估计？

主要发现

• 所提出的EnKS-EM与VODEN方案即使在高噪声（σ² = 32）与部分观测条件下，也能成功恢复Lorenz-63系统的真正混沌吸引子。
• 在所有测试的噪声与采样条件下，该方法准确重构了最大的李雅普诺夫指数（λ₁ ≈ 0.89），误差控制在5%以内，与真实值高度一致。
• 在部分观测场景1中，EnKS-EM_S1在t₀ + h处的状态误差为0.075，在t₀ + 4h处为0.115，优于基线方法。
• 在不规则采样场景2中，VODEN_S2在t₀ + h处的状态误差为0.115，在t₀ + 4h处为0.317，表现出对不规则采样的强鲁棒性。
• 当标准机器学习方法因在噪声或不完整数据上过拟合而失效时，本方法仍能恢复正确的动力学行为与李雅普诺夫指数。
• 该框架即使在某些状态分量从未被观测到的情况下，也能实现对隐藏动力学的准确推断，表明其在不完整传感器数据学习中的潜在应用价值。