[论文解读] Variational Deep Learning for the Identification and Reconstruction of Chaotic and Stochastic Dynamical Systems from Noisy and Partial Observations

Duong Nguyen, Said Ouala+2 more|arXiv (Cornell University)|Sep 4, 2020

Model Reduction and Neural Networks参考文献 54被引用 7

一句话总结

该论文提出了一种变分深度学习框架，能够从噪声和不完整的观测中联合重建混沌与随机动力系统的隐状态并识别其控制方程。通过将贝叶斯数据同化与深度神经网络相结合——具体而言采用变分推断和n步预测——该方法实现了端到端学习，在高斯噪声（19.4%）和部分观测条件下，显著优于现有最先进方法，能够更准确地重建低维吸引子并捕捉随机动力学。

ABSTRACT

The data-driven recovery of the unknown governing equations of dynamical systems has recently received an increasing interest. However, the identification of governing equations remains challenging when dealing with noisy and partial observations. Here, we address this challenge and investigate variational deep learning schemes. Within the proposed framework, we jointly learn an inference model to reconstruct the true states of the system and the governing laws of these states from series of noisy and partial data. In doing so, this framework bridges classical data assimilation and state-of-the-art machine learning techniques. We also demonstrate that it generalises state-of-the-art methods. Importantly, both the inference model and the governing model embed stochastic components to account for stochastic variabilities, model errors, and reconstruction uncertainties. Various experiments on chaotic and stochastic dynamical systems support the relevance of our scheme w.r.t. state-of-the-art approaches.

研究动机与目标

• 解决在观测存在噪声和不完整时识别动力系统控制方程的挑战，这是气候与海洋建模等现实应用中的常见问题。
• 通过在变分推断框架下建模，弥合经典数据同化技术与现代深度学习之间的鸿沟。
• 实现隐状态重建与动力学模型学习的端到端联合学习，同时考虑模型不确定性与随机变异性。
• 通过在推理模型与动力学模型中引入随机成分，推广现有基于学习的方法，以应对现实数据中的不完美性。
• 展示该框架在从高维、噪声观测中重建低维吸引子和捕捉动力学特性（如李雅普诺夫指数）方面的优越性能。

提出的方法

• 该框架使用变分推断，联合学习用于重建真实系统状态的推理模型和用于从时间序列观测中识别控制方程的动力学模型。
• 将问题建模为具有随机转移分布的状态空间模型，从而在动力学生前与推理过程中实现不确定性量化。
• 推理模型采用基于LSTM的神经网络实现，以捕捉噪声和不完整观测中的序列依赖关系。
• 通过引入n步预测作为正则化策略，提升泛化能力并防止在不完美数据上的过拟合。
• 观测模型包含一个可学习的非线性观测算子（由MLP参数化），用于将低维动力学映射到高维、噪声观测。
• 整个架构通过随机梯度变分贝叶斯（SGVB）进行端到端训练，实现状态重建与方程发现的联合优化。

实验结果

研究问题

• RQ1 深度学习框架能否从噪声和不完整的观测中联合重建隐状态并识别动力系统的控制方程？
• RQ2 在推理模型与动力学模型中引入随机成分，如何提升对噪声与模型误差的鲁棒性？
• RQ3 变分推断与n步预测在多大程度上能正则化学习过程，防止在不完美数据上的过拟合？
• RQ4 该框架能否从低维系统的高维、噪声观测中恢复出低维吸引子与动力学特征（如李雅普诺夫指数）？
• RQ5 在高噪声与部分观测条件下，该方法与现有最先进方法相比在动力学识别方面表现如何？

主要发现

• 所提出的框架成功地从128维、噪声水平为19.4%的勒让德系数观测中重建了Lorenz-63系统的低维吸引子。
• 所学习模型的第一李雅普诺夫指数为λ₁ = 0.92，与真实值0.91非常接近，表明其准确捕捉了混沌动力学。
• 该方法通过实现包含不确定性量化的端到端学习，超越了现有最先进方法，在噪声数据上的表现优于非随机与非变分基线模型。
• 该框架能够捕捉动力系统的随机特性，在确定性模型失效的情境下表现出强鲁棒性。
• 基于LSTM的推理网络在从部分与噪声数据中重建动力学方面，优于传统数据同化方法（如集合卡尔曼平滑器）。
• n步预测与变分推断的结合起到了有效的正则化作用，减少了过拟合，并提升了在不完美数据集上的泛化能力。